TechTalk

TechTalk

stay hungry, stay foolish

Centos6.5 Ambari样板机
安装wget和openssh-server12yum -y install wgetyum -y install openssh-server 安装阿里云的源123mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repoyum makecache 禁用iptables12chkconfig iptables off/etc...
Hadoop的HDFS
Hadoop的NameNode通过FsImage以及EditLog来维护: FsImage是保存了文件系统的树形结构以及原信息等数据。 EditLog用于记录对文件的修改记录,类似于可以执行的日志记录一样。 当大量数据频繁操作后,EditLog会变的很大,那么在Hadoop启动阶段将进入到“安全模式”,在该模式下,Hadoop只能进行读取操作,而不能进行写入操作,当EditLog更新完FsImage后,Hadoop将退出安全模式。为了缩短Hadoop在安全模式下的时间,SNN(Secondary NameNode)被设计出来。SNN将读取FsImage以及EditLog信息,将两者合...
Hadoop机架感知功能
机架感知功能属于Hadoop的数据存储策略功能。由于在默认情况下Hadoop认为所有的datanode处于同一机架/default-rack中。如果Hadoop集群是跨多个机架或者多个IDC机房,那么数据访问的成本会由于过多的网络传输会增加。当Hadoop启动机架感知功能后,Hadoop的副本会按照如下策略存放(以3副本为例): 第一个副本存储在client相同的datanode上。(如果数据请求来至于集群外部,那么存储在一个低负载的一个datanode上)。 第二个副本存储在与第一个副本不同的rack的datanode上。 第三个副本存储在另外一个副本相同的rack的datanode...
avatar
warvyvr
仙山以逝,月落苍茫