HADOOP/HBase動态新增節點

1. 檢查JDK版本是否相同并拷貝JDK，并配置/etc/profile檔案的JAVA_HOME和CLASSPATH屬性

2. 配置/etc/hosts檔案，新增新加機器的計算機名，包括原有機器和新增機器都要修改該檔案

3. 拷貝hadoop-2.6.0和hbase-1.0.1.1，并把hadoop-2.6.0和hbase-1.0.1.1檔案夾的檔案所有者和檔案所屬組改成hadoop

4. 配置Master到Slave的無密碼登入

5. 設定機器句柄數,修改/etc/security/limits.conf,詳見http://beyond3518.blog.51cto.com/1360525/1764190

6. 安裝snappy

    6.1 安裝軟體: Gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3, glibc

           安裝方法 : yum install xxx

    6.2 安裝glibc方法 : 

            6.2.1 到192.168.9.110的/data/server/glibc-2.14.tar.gz拷貝檔案,把該檔案拷貝到/usr/local目錄下

            6.2.2 進入/usr/local目錄下, cd /usr/local

            6.2.3 解壓glibc-2.14.tar.gz,  tar -zxvf glibc-2.14.tar.gz

            6.2.4 建立目錄/usr/local/glibc, mkdir /usr/local/glibc

            6.2.5 進入/usr/local/glibc目錄, cd /usr/local/glibc

            6.2.6 運作指令 export CFLAGS="-g -O2"

            6.2.7 運作指令 /usr/local/glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin

            6.2.8 運作指令 make

            6.2.9 運作指令 make install

            6.2.10 驗證是否安裝成功 : 

                        運作指令 : ll /lib64/libc.so.6 , 如果顯示結果 /lib64/libc.so.6 -> libc-2.14.so , 則安裝成功

7. 修改hadoop的slaves配置檔案,添加新增節點,并把該配置檔案發送到所有其他節點上去

8. 添加Datanode

對于新添加的Datanode節點,需要啟動datanode程序,進而将其添加到叢集

    8.1 在新增的節點上，運作sbin/hadoop-daemon.sh start datanode 啟動datanode程序

    8.2 在新增的節點上, 運作sbin/yarn-daemon.sh start nodemanager 啟動nodemanager程序

    8.3 然後在namenode通過hdfs dfsadmin -report檢視叢集情況

    8.4 最後還需要對hdfs負載設定均衡，因為預設的資料傳輸帶寬比較低，可以設定為64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可

    8.5 預設balancer的threshold為10%，即各個節點與叢集總的存儲使用率相差不超過10%，我們可将其設定為5%

    8.6 然後啟動Balancer，sbin/start-balancer.sh -threshold 5，等待叢集自均衡完成即可

9. 添加Nodemanager

由于Hadoop 2.X引入了YARN架構，是以對于每個計算節點都可以通過NodeManager進行管理，同理啟動NodeManager程序後，即可将其加入叢集

    9.1 在新增節點，運作sbin/yarn-daemon.sh start nodemanager即可

    9.2 在ResourceManager，通過yarn node -list檢視叢集情況

10. 修改hbase的regionservers配置檔案,添加新增節點.并把該配置檔案發送到所有其他節點

11. 在新增的節點上,啟動regionserver. 運作hbase-daemon.sh start regionserver即可

12. 修改InputService/StoreService伺服器的/etc/hosts檔案,添加新節點的域名