從hadoop移除機器
把需要移除的機器增加到exclueds檔案中,強制重新整理datanode清單,等待decommission 狀态正常後,即可停機下架,如有必要在namenode執行balancer操作。
操作指令:
在master的conf/hdfs-site.xml中加入
<property>
<name>dfs.hosts.exclude</name>
<value>excludes檔案路徑</value>
</property>
建立exclueds檔案
檔案内容增加你想删除的節點的機器名,一行一個
${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes指令重新整理datanode例表
${HADOOP_HOME}/bin/hdfs dfsadmin -report檢視結果
向hadoop添加機器
啟動datanode和jobtracker程序,當新添加的機器向namenode發送心跳資訊後,namenode會自動感覺新加入的機器,如果有必要可以做balancer操作。
1.在新機器上
${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
2.為防新資料大量寫到新添加的機器上,在namenode上 ${HADOOP_HOME}/bin/hdfs balancer