天天看點

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html><head><meta http-equiv="Cont

從hadoop移除機器

把需要移除的機器增加到exclueds檔案中,強制重新整理datanode清單,等待decommission 狀态正常後,即可停機下架,如有必要在namenode執行balancer操作。

操作指令:

在master的conf/hdfs-site.xml中加入

    <property>

        <name>dfs.hosts.exclude</name>

        <value>excludes檔案路徑</value>

     </property>

建立exclueds檔案

檔案内容增加你想删除的節點的機器名,一行一個

${HADOOP_HOME}/bin/hdfs dfsadmin -refreshNodes指令重新整理datanode例表

${HADOOP_HOME}/bin/hdfs dfsadmin -report檢視結果

向hadoop添加機器

啟動datanode和jobtracker程序,當新添加的機器向namenode發送心跳資訊後,namenode會自動感覺新加入的機器,如果有必要可以做balancer操作。

1.在新機器上

   ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode

   ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager

2.為防新資料大量寫到新添加的機器上,在namenode上 ${HADOOP_HOME}/bin/hdfs balancer