💜🧡💛制作不易，各位大佬們給點鼓勵！
🧡💛💚點贊👍 ➕ 收藏⭐ ➕ 關注✅
💛💚💙歡迎各位大佬指教，一鍵三連走起！
一、ZooKeeper搭建
1、上傳安裝包到master并解壓
tar -xvf zookeeper-3.4.6.tar.gz
2、配置環境變量
vim /etc/profile
修改添加配置資訊，儲存并退出
export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6
export PATH=$PATH:$ZOOKEEPER_HOME/bin
重新整理配置：
source /etc/profile
3、修改zk的配置檔案
進入zk的配置檔案目錄，在zk的home目錄下/usr/local/soft/zookeeper/zookeeper-3.4.6/
cd /usr/local/soft/zookeeper/zookeeper-3.4.6/conf
重命名配置檔案
cp zoo_sample.cfg zoo.cfg
修改配置檔案中資訊
并添加下面配置資訊
server.0=master:2888:3888
server.1=node1:2888:3888
server.2=node2:2888:3888
4、建立data目錄
進入zk的home目錄
cd /usr/local/soft/zookeeper-3.4.6
建立data目錄
進入data目錄
建立檔案myid
touch myid
5、同步zk的home到其它節點
scp -r zookeeper-3.4.6 node1:`pwd`
scp -r zookeeper-3.4.6 node2:`pwd`
配置node1和node2的環境變量，同上面步驟
在所有節點執行
source /etc/profile
6、編輯/usr/local/soft/zookeeper-3.4.6/data/myid
在master,node1,node2三台機器的myid檔案分别加上0，1，2
注意：隻要加上數字就可，例如：master的myid中寫入0
7、啟動zk，
zkServer.sh start 三台都需要執行
zkServer.sh status 檢視狀态
通過jps可以檢視zk的程序：QuorumPeerMain
當有一個leader的時候啟動成功
停止zk的方法：
zkServer.sh stop 三台都需要執行
8、連接配接zk
zkCli.sh
zk 是一個目錄結構 ，每個節點可以存資料，同時可以有子節點
9.zk的常用shell指令
建立目錄
create /test testData
create /test/a aData
擷取資料
get /test
ls /test
delete 隻能删除沒有子節點的節點
rmr /test 删除節點
10.重置zk
1、殺掉所有zk程序
kiil -9 pid
2、删除data目錄下的version檔案, 所有節點都要删除
rm -rf /usr/local/soft/zookeeper-3.4.6/data/version-2
2、啟動zk
zkServer.sh start
二、HDFS的高可用HA的詳細配置
高可用配置各個節點上的程序配置如下：
ZK NN DN RM NM JN ZKFC
master 1 1 1 1 1
node1 1 1 1 1 1 1 1
node2 1 1 1 1
HA詳細配置步驟
1、防火牆
2、設定機器時間同步
yum install ntp
ntpdate -u s2c.time.edu.cn
或者使用：
date -s 20180503
3、免密鑰 (遠端執行指令)
在兩個主節點生成密鑰檔案
ssh-keygen -t rsa
遠端複制到各個節點
ssh-copy-id 各個節點ip
分别從master和node1上複制到三台機器如下
master-->master,node1,node2
node1-->master,node1,node2
4、修改hadoop配置檔案
進入hadoo的home中的etc/hadoop/目錄
/usr/local/soft/hadoop-2.7.6/etc/hadoop/
目錄下
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/tmp</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>master:2181,node1:2181,node2:2181</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<!-- 指定hdfs中繼資料存儲的路徑 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/namenode</value>
</property>
<!-- 指定hdfs資料存儲的路徑 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/datanode</value>
</property>
<!-- 資料備份的個數 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 關閉權限驗證 -->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<!-- 開啟WebHDFS功能（基于REST的接口服務） -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<!-- //////////////以下為HDFS HA的配置////////////// -->
<!-- 指定hdfs的nameservices名稱為mycluster -->
<property>
<name>dfs.nameservices</name>
<value>cluster</value>
</property>
<!-- 指定cluster的兩個namenode的名稱分别為nn1,nn2 -->
<property>
<name>dfs.ha.namenodes.cluster</name>
<value>nn1,nn2</value>
</property>
<!-- 配置nn1,nn2的rpc通信端口 -->
<property>
<name>dfs.namenode.rpc-address.cluster.nn1</name>
<value>master:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.cluster.nn2</name>
<value>node1:8020</value>
</property>
<!-- 配置nn1,nn2的http通信端口 -->
<property>
<name>dfs.namenode.http-address.cluster.nn1</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.cluster.nn2</name>
<value>node1:50070</value>
</property>
<!-- 指定namenode中繼資料存儲在journalnode中的路徑 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://master:8485;node1:8485;node2:8485/cluster</value>
</property>
<!-- 指定journalnode日志檔案存儲的路徑 -->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/usr/local/soft/hadoop-2.7.6/data/journal</value>
</property>
<!-- 指定HDFS用戶端連接配接active namenode的java類 -->
<property>
<name>dfs.client.failover.proxy.provider.cluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔離機制為ssh -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<!-- 指定秘鑰的位置 -->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/root/.ssh/id_rsa</value>
</property>
<!-- 開啟自動故障轉移 -->
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
</configuration>
停止HDFS叢集：
stop-dfs.sh
将修改的hadoop配置資訊,同步到其它節點node1,noded2
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop #進入該目錄下，scp到各節點
scp ./* node1:`pwd`
scp ./* node2:`pwd`
5、删除hadoop資料存儲目錄下的檔案 每個節點都需要删除
rm -rf /usr/local/soft/hadoop-2.7.6/tmp
6、啟動zookeeper 三台都需要啟動
zkServer.sh status
7、啟動JN 存儲hdfs中繼資料
三台JN上執行 啟動指令：
進入hadoop的sbin目錄執行hadoop-daemon.sh
/usr/local/soft/hadoop-2.7.6/sbin/hadoop-daemon.sh start journalnode
8、格式化 在一台NN上執行，這裡選擇master
hdfs namenode -format
啟動目前的NN
hadoop-daemon.sh start namenode
9、執行同步 沒有格式化的NN上執行 在另外一個namenode上面執行 這裡選擇node1
/usr/local/soft/hadoop-2.7.6/bin/hdfs namenode -bootstrapStandby
10、格式化ZK 在master上面執行
注意！！一定要先 把zk叢集正常 啟動起來
/usr/local/soft/hadoop-2.7.6/bin/hdfs zkfc -formatZK
11、啟動hdfs叢集,在master上執行
start-dfs.sh
三、YARN高可用HA搭建
1、修改配置檔案
yarn-site.xml
<configuration>
<!-- NodeManager上運作的附屬服務，需配置成mapreduce_shuffle才可運作MapReduce程式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 開啟日志 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 配置日志删除時間為7天，-1為禁用，機關為秒 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<!-- //////////////以下為YARN HA的配置////////////// -->
<!-- 開啟YARN HA -->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!-- 啟用自動故障轉移 -->
<property>
<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<!-- 指定YARN HA的名稱 -->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>yarncluster</value>
</property>
<!-- 指定兩個resourcemanager的名稱 -->
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<!-- 配置rm1，rm2的主機 -->
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>master</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>node1</value>
</property>
<!-- 配置YARN的http端口 -->
<property>
<name>yarn.resourcemanager.webapp.address.rm1</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address.rm2</name>
<value>node1:8088</value>
</property>
<!-- 配置zookeeper的位址 -->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>master:2181,node1:2181,node2:2181</value>
</property>
<!-- 配置zookeeper的存儲位置 -->
<property>
<name>yarn.resourcemanager.zk-state-store.parent-path</name>
<value>/rmstore</value>
</property>
<!-- 開啟yarn resourcemanager restart -->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 配置resourcemanager的狀态存儲到zookeeper中 -->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
<!-- 開啟yarn nodemanager restart -->
<property>
<name>yarn.nodemanager.recovery.enabled</name>
<value>true</value>
</property>
<!-- 配置nodemanager IPC的通信端口 -->
<property>
<name>yarn.nodemanager.address</name>
<value>0.0.0.0:45454</value>
</property>
</configuration>
停止yarn叢集：
stop-yarn.sh
修改的配置資訊，同步到其它節點
cd /usr/local/soft/hadoop-2.7.6/etc/hadoop
scp ./* node1:`pwd`
scp ./* node2:`pwd`
2、啟動yarn 在master啟動
start-yarn.sh
3、在node1上啟動另一個RM
/usr/local/soft/hadoop-2.7.6/sbin/yarn-daemon.sh start resourcemanager
最後可以進入到web頁面檢視
master:8088
node1:8088
![MapReduce運作Wordcount時一直卡在INFO mapreduce.Job: Running job，web檢視一直處于accepted階段[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)