安装wget和openssh-server12yum -y install wgetyum -y install openssh-server
安装阿里云的源123mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repoyum makecache
禁用iptables12chkconfig iptables off/etc...
Hadoop的NameNode通过FsImage以及EditLog来维护:
FsImage是保存了文件系统的树形结构以及原信息等数据。
EditLog用于记录对文件的修改记录,类似于可以执行的日志记录一样。
当大量数据频繁操作后,EditLog会变的很大,那么在Hadoop启动阶段将进入到“安全模式”,在该模式下,Hadoop只能进行读取操作,而不能进行写入操作,当EditLog更新完FsImage后,Hadoop将退出安全模式。为了缩短Hadoop在安全模式下的时间,SNN(Secondary NameNode)被设计出来。SNN将读取FsImage以及EditLog信息,将两者合...
机架感知功能属于Hadoop的数据存储策略功能。由于在默认情况下Hadoop认为所有的datanode处于同一机架/default-rack中。如果Hadoop集群是跨多个机架或者多个IDC机房,那么数据访问的成本会由于过多的网络传输会增加。当Hadoop启动机架感知功能后,Hadoop的副本会按照如下策略存放(以3副本为例):
第一个副本存储在client相同的datanode上。(如果数据请求来至于集群外部,那么存储在一个低负载的一个datanode上)。
第二个副本存储在与第一个副本不同的rack的datanode上。
第三个副本存储在另外一个副本相同的rack的datanode...