计算机教程

Hadoop群集中添加节点步骤

9 11月 , 2019  

作用:当节点出现故障,或新增加节点时,数据块分布可能不均匀,负载均衡可以重新平衡各个datanode上数据块的分布

向一个正在运行的Hadoop集群中增加几个新的Nodes

必赢娱乐棋牌,3.修改masters和slaves文件,增加该节点

必赢娱乐棋牌 1

 #hadoop-daemon.sh start tasktracker

  1. 进行block块的均衡

6.运行start-balancer.sh进行数据负载均衡

<property>
    <name>dfs.balance.bandwidthPerSec</name>
    <value>10485760</value>
    <description>
        Specifies the maximum bandwidth that each datanode can utilize
for the balancing purpose in term of the number of bytes per second.
    </description>
</property>

1.在新节点安装好Hadoop

在hdfs-site.xml中增加设置balance的带宽,默认只有1M:

4.设置ssh免密码进出该节点

/opt/sohuhadoop/hadoop/bin/start-balancer.sh -threshold 3


相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

网站地图xml地图