大資料成長之路-- hadoop叢集的部署(3)HDFS新增節點

文章目錄

• 6、HDFS新增節點
• • 服役新資料節點
  • 服役新節點具體步驟

大資料成長之路-- hadoop叢集的部署(3)

6、HDFS新增節點

服役新資料節點

目标：掌握HDFS新添加節點到叢集的步驟
           

需求基礎：

随着公司業務的增長，資料量越來越大，原有的資料節點的容量已經不能滿足存儲資料的需求，需要在原有叢集基礎上動态添加新的資料節點。
準備新節點
           

第一步：複制一台新的虛拟機出來

将我們純淨的虛拟機複制一台出來，作為我們新的節點		
           

第二步：修改mac位址以及IP位址

修改mac位址指令

vim /etc/udev/rules.d/70-persistent-net.rules
           

修改ip位址指令

vim /etc/sysconfig/network-scripts/ifcfg-eth0
           

第三步：關閉防火牆，關閉selinux

關閉防火牆

service iptables stop
           

關閉selinux

vim /etc/selinux/config
           

第四步：更改主機名

更改主機名指令

vim /etc/sysconfig/network
           

第五步：四台機器更改主機名與IP位址映射

四台機器都要添加hosts檔案

vim /etc/hosts

192.168.52.100 node01.hadoop.com  node01
192.168.52.110 node02.hadoop.com  node02
192.168.52.120 node03.hadoop.com  node03
192.168.52.130 node04.hadoop.com  node04
           

第六步：node04伺服器關機重新開機并生成公鑰與私鑰

node04執行以下指令關機重新開機

reboot 
           

node04執行以下指令生成公鑰與私鑰

ssh-keygen
           

node04執行以下指令将node04的私鑰拷貝到node01伺服器

ssh-copy-id  node04
ssh-copy-id  node03
ssh-copy-id  node02
ssh-copy-id  node01


scp authorized_keys  node04:$PWD
           

第七步：node04安裝jdk

node04統一兩個路徑

mkdir -p /export/softwares/
mkdir -p /export/servers/
           

然後解壓jdk安裝包，配置環境變量,或将叢集中的java安裝目錄拷貝一份，并配置環境變量。

第八步：解壓hadoop安裝包

在node04伺服器上面解壓hadoop安裝包到/export/servers

node01執行以下指令将hadoop安裝包拷貝到node04伺服器

cd /export/softwares/
scp hadoop-2.6.0-cdh5.14.0-自己編譯後的版本.tar.gz node04:$PWD
           

第九步：将node01關于hadoop的配置檔案全部拷貝到node04

node01執行以下指令，将hadoop的配置檔案全部拷貝到node04伺服器上面

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
scp ./* node04:$PWD
           

服役新節點具體步驟

第一步：建立dfs.hosts檔案

在node01也就是namenode所在的機器的/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop目錄下建立dfs.hosts檔案

[root@node01 hadoop]# cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
[root@node01 hadoop]# touch dfs.hosts
[root@node01 hadoop]# vim dfs.hosts
           

添加如下主機名稱（包含新服役的節點）

node01
node02
node03
node04
           

第二步：node01編輯hdfs-site.xml添加以下配置

在namenode的hdfs-site.xml配置檔案中增加dfs.hosts屬性

node01執行以下指令

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim hdfs-site.xml


<property>
                <name>dfs.hosts</name>
                <value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/dfs.hosts</value>
        </property>
           

第三步：重新整理namenode

node01執行以下指令重新整理namenode

[root@node01 hadoop]# hdfs dfsadmin -refreshNodes
Refresh nodes successful
           

第四步：更新resourceManager節點

node01執行以下指令重新整理resourceManager

[root@node01 hadoop]# yarn rmadmin -refreshNodes
19/03/16 11:19:47 INFO client.RMProxy: Connecting to ResourceManager at node01/192.168.52.100:8033
           

第五步：namenode的slaves檔案增加新服務節點主機名稱

node01編輯slaves檔案，并添加新增節點的主機，更改完後，slaves檔案不需要分發到其他機器上面去

node01執行以下指令編輯slaves檔案

cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
vim slaves

node01
node02
node03
node04
           

第六步：單獨啟動新增節點

node04伺服器執行以下指令，啟動datanode和nodemanager

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
           

http://node01:50070/dfshealth.html#tab-overview

http://node01:8088/cluster
           

cd /export/servers/hadoop-2.6.0-cdh5.14.0/
sbin/start-balancer.sh