Hadoop---靜動态增删節點

　　　　　　　　靜動态增删節點

　初始：

　　這是我現在的叢集

　　　

　　重新克隆一個虛拟機：

　　　　hadoop44:datanode(靜态增加，删除和動态删除)

　　　　hadoop55:datanode（動态hdfs添加，yarn動态增删）

　　靜态添加：

　　　　1）修改hosts檔案，讓主可以認識它

　　　　　　vi /etc/hosts

　　　　　　

　　　　2）設定無密碼通路hadoop44（keygen的生成--> ssh-keygen -t rsa）

　　　　　　

　　　　3)分别給從機中發送hosts檔案和給hadoop44方法送profile檔案和hadoop-2.6.0,以及重新開機hadoop44的profile檔案（source /etc/profile）

　　　　　　

　　　　4）修改配置檔案slaves檔案 

　　　　　　

　　　　5)檢視效果

　　　　　　192.168.11.11：50070

　　　　　　

　　　　　　192.168.11.11：8088

　　　　　　

　靜态删除：

　　　1.　靜态删除節點：

　　　　　

　　　2. 頁面：隻是停止心跳

　　　　　

　動态增删節點：　

　　動态删除hadoop3

　　　　1）修改hdfs.site.xml

<property>
        <name>dfs.hosts</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-hosts.conf</value>
    </property>
    <property>
        <name>dfs.hosts.exclude</name>
        <value>/home/bigData/hadoop-2.6.0/etc/hadoop/dfs-exhosts.conf</value>
    </property>      

　　　　　　

　　　　　　

　　　2)同步資源檔案并啟動服務-->start.all.sh

　　　　　　scp * hadoop2/3/44`pwd`

　　　　　　

　　　　　　啟動：

　　　　　

　　　3)删除節點狀态

　　　　　1.修改配置檔案（上面剛剛建的dfs-exhosts.conf）

　　　　　　

　　　　  2.重新整理 --> hdfs dfsadmin -refreshNodes

　　　　　  

　　　　  3.頁面或者（hdfs.dfsadmin -report）

　　　　　　

　　　　　　

　　

　　動态添加hadoop55節點

　　　　1）hadooop5需要做和前面相同的配置，啟動hadopp55

　　　　　　

　　　　2) 網頁（如果你hadoop1/hadoop2有大量檔案，而hadoop55上線時會自動做一個平衡，将檔案分一些給hadoop55）

　　　　　　

　　動态增加和解除安裝yarn節點 :　　

　　　　　1)修改配置檔案（增加和解除安裝） 　

　　　　　　<property>
		<name>yarn.resourcemanager.nodes.include-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-include.conf</value>
	</property>
	<property>
		<name>yarn.resourcemanager.nodes.exclude-path</name>
		<value>/home/bigData/hadoop-2.6.0/etc/hadoop/yarn-hosts-exclude.conf</value>
	</property>
      

　　　　　2）在相應的目錄下建立檔案夾：

　　　　　　

　　　　　3.1）啟動hadoop55做yarn節點的增加

　　　　　　　　

　　　　　4）網頁

　　　　　　　　

 　　　　　3.2)删除節點，重新整理yarn檔案

　　　　　　　　

　　　　　4）網頁

 　　　　　　

 　　　注意：

　　　　　動态增删hdfs節點時不要進行-->hdfs dfsadmin refresh 重新整理，如果重新整理了會節點死掉，這個重新整理節點隻支援大資料2.47之前，我們現在使用的是2.6.0版本

 　結束：　　

　　　　一個有5台機器，還有一台就是hadoop55

　　　　

　　　　

　　　　huhu_k：每一個成功都不是一朝一夕的事情

轉載于:https://www.cnblogs.com/meiLinYa/p/9123267.html