Hadoop的高可用搭建

在已經安裝完hadoop單機和zookeeper前提下

ssh-keygen -t rsa

分發秘鑰

ssh-copy-id -i master

ssh-copy-id -i node1

ssh-copy-id -i node2

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

我是直接導入檔案覆寫

scp * node1:/usr/local/soft/hadoop-2.7.6/etc/hadoop/

 rm -rf /usr/local/soft/hadoop-2.7.6/tmp

zkServer.sh start

zkServer.sh status

此時一台一個zk的節點

三台JN上執行 啟動指令： hadoop-daemon.sh start journalnode

此時一台一個zk節點，一個jn日志節點

hdfs namenode -format

啟動目前的NN

hadoop-daemon.sh start namenode

此時master上多了個namenode節點

hdfs namenode -bootstrapStandby

這是node1上還沒有namenode節點很正常，還沒有啟動hdfs

在已經啟動的namenode上面執行 ！！一定要先 把zk叢集正常 啟動起來 hdfs zkfc -formatZK

start-dfs.sh

master上：

node1上：

 node2上：

黃色：QuorumPeerMain：zk的節點，三台都有    3個

粉色：JournalNode：jn日志節點，三台都頭   3個

紅色：Namenode：管理節點：出現在master和node1上    2個

藍色：DFSZKFailoverController：ZKFC：用來觀察master和node1，防止當機時可以替代    2個

灰色：DataNode：工作節點，用于存儲hdfs資料，出現在node1和node2上   2個

一共12個節點此時

start-yarn.sh

master：多了一個ResourceManager節點，用于處理整個叢集資源的總節點

 node1和node2上：多個NodeManger節點，用于跟蹤監視資源

此時多了一個ResourceManager節點和2個NodeManager節點

 yarn-daemon.sh start resourcemanager

此時node1上：多個一個nNodeManager節點，用于備份

 此時node1多了個 ResourceManager節點