DataNode（面試開發重點2）

4 服役新資料節點

如何在原有叢集基礎上動态添加新的資料節點？

以下操作使用​

​dev1​

​進行操作

1 虛拟機準備

（1）關閉hadoop104,在hadoop104主機上再克隆一台hadoop105主機

（2）修改IP位址和主機名稱,位址映射

sudo find  /etc/ -name 70*
 sudo vim /etc/udev/rules.d/70-persistent-net.rules
 sudo find  /etc/ -name *eth0
 sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
 sudo find  /etc/ -name network
 sudo vim /etc/sysconfig/network
 sudo find  /etc/ -name hosts
 sudo vim /etc/hosts
      

（3）删除原來HDFS檔案系統留存的檔案（/opt/module/hadoop-2.7.2/data和log）

rm -rf /opt/module/hadoop-2.7.2/data/
 rm -rf /opt/module/hadoop-2.7.2/logs/      

2 測試虛拟機

hostname
ping hadoop105
ll /opt/module/hadoop-2.7.2      

3 同步hosts檔案

啟動hadoop104

hadoop-daemon.sh start datanode      

在hadoop105使用 scp 同步到hadoop102,hadoop103,hadoop104

scp  /etc/hosts  root@hadoop102:/etc/
scp  /etc/hosts  root@hadoop103:/etc/
scp  /etc/hosts  root@hadoop104:/etc/      

4 同步ssh

（6）在hadoop102,hadoop103,hadoop104 分别執行

ssh-copy-id  hadoop105      

在hadoop105上執行

# 生成秘鑰對
ssh-keygen -t rsa 
# 發送公鑰
ssh-copy-id  hadoop105
ssh-copy-id  hadoop102
ssh-copy-id  hadoop103
ssh-copy-id  hadoop104      

5 啟動datanode

（1）直接啟動DataNode，即可關聯到叢集（hadoop104,hadoop105都使用）

hadoop-daemon.sh start datanode      

（2）在​

​hadoop105​

​上傳檔案

hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /      

6 叢集不均衡

什麼叫叢集不均衡?

機器與機器之間磁盤使用率不平衡，比如叢集中添加新的資料節點，節點與節點之間磁盤大小不一樣等等。當hdfs出現不平衡狀況的時候，将引發很多問題

start-balancer.sh