接上篇第7章HDFS（下）：NameNode和SecondaryNameNode、HDFS工作機制、故障處理、叢集安全模式、服役退役節點、叢集黑白名單、DataNode多目錄詳解、HDFS2.x新特性
中間需要學習zookeeper，zookeeper文章傳送門：大資料之Zookeeper：zookeeper資料結構、zookeeper安裝、zookeeper内部原理、分布式zookeeper部署、指令行、zookeeper的API、監聽伺服器動态上下線案例
本文目錄
第8章HA高可用
8.1HA概述
8.2工作機制
8.3HDFS-HA手動故障轉移
8.3.1工作要點
8.3.2環境準備
8.3.3規劃叢集。
8.3.4配置HDFS-HA叢集
8.3.5啟動HDFS-HA叢集
8.4 HDFS-HA自動故障轉移
8.4.1工作要點
8.4.2規劃叢集
8.4.3配置Zookeeper叢集
8.4.4配置HDFS-HA自動故障轉移
8.5YARN-HA配置.
8.5.1YARN-HA工作機制
8.5.2配置YARN-HA叢集
8.6 HDFS Federation 架構設計
第8章 HA高可用
8.1 HA概述
1）所謂HA（high available），即高可用（7*24小時不中斷服務）。
2）實作高可用最關鍵的政策是消除單點故障。HA嚴格來說應該分成各個元件的HA機制：HDFS的HA和YARN的HA。
3）Hadoop2.0之前，在HDFS叢集中NameNode存在單點故障（SPOF）。
4）NameNode主要在以下兩個方面影響HDFS叢集
NameNode機器發生意外，如當機，叢集将無法使用，直到管理者重新開機
NameNode機器需要更新，包括軟體、硬體更新，此時叢集也将無法使用
HDFS HA功能通過配置Active/Standby兩個nameNodes實作在叢集中對NameNode的熱備來解決上述問題。如果出現故障，如機器崩潰或機器需要更新維護，這時可通過此種方式将NameNode很快的切換到另外一台機器。
8.2 工作機制
配置兩個namenode，通過雙namenode消除單點故障。
8.3 HDFS-HA手動故障轉移
8.3.1 工作要點
1）中繼資料管理方式需要改變：
記憶體中各自儲存一份中繼資料；
Edits日志隻有Active狀态的namenode節點可以做寫操作；
兩個namenode都可以讀取edits；
共享的edits放在一個共享存儲中管理（qjournal和NFS兩個主流實作）；
2）需要一個狀态管理功能子產品
實作了一個zkfailover，常駐在每一個namenode所在的節點，每一個zkfailover負責監控自己所在namenode節點，利用zk進行狀态辨別，當需要進行狀态切換時，由zkfailover來負責切換，切換時需要防止brain split現象的發生。
3）必須保證兩個NameNode之間能夠ssh無密碼登入。
4）隔離（Fence），即同一時刻僅僅有一個NameNode對外提供服務
8.3.2 環境準備
1）修改IP
2）修改主機名及主機名和IP位址的映射
3）關閉防火牆
4）ssh免密登入
5）安裝JDK，配置環境變量等
8.3.3 規劃叢集
hadoop102 hadoop103 hadoop104
NameNode NameNode
JournalNode JournalNode JournalNode
DataNode DataNode DataNode
ResourceManager
NodeManager NodeManager NodeManager
8.3.4 配置HDFS-HA叢集
1）官方位址：http://hadoop.apache.org/
2）在/opt/module/目錄下建立一個HA檔案夾
mkdir HA
3）将/opt/module/下的 hadoop-2.7.2拷貝到/opt/module/HA目錄下
[[email protected] module]$ cp -r hadoop-2.7.2/ /opt/module/HA/
4）配置hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
5）配置core-site.xml
<configuration>
<!-- 把兩個NameNode）的位址組裝成一個叢集mycluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 聲明journalnode服務本地檔案系統存儲目錄-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/module/HA/hadoop-2.7.2/data/jn</value>
</property>
<!-- 指定hadoop運作時産生檔案的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/HA/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
6）配置hdfs-site.xml
<configuration>
<!-- 完全分布式叢集名稱 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 叢集中NameNode節點都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通信位址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop102:8020</value>
</property>
<!-- nn2的RPC通信位址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop103:8020</value>
</property>
<!-- nn1的http通信位址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop102:50070</value>
</property>
<!-- nn2的http通信位址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop103:50070</value>
</property>
<!-- 指定NameNode中繼資料在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property>
<!-- 配置隔離機制，即同一時刻隻能有一台伺服器對外響應 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔離機制時需要ssh無秘鑰登入-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/atguigu/.ssh/id_rsa</value>
</property>
<!-- 關閉權限檢查-->
<property>
<name>dfs.permissions.enable</name>
<value>false</value>
</property>
<!-- 通路代理類：client，mycluster，active配置失敗自動切換實作方式-->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
</configuration>
7）拷貝配置好的hadoop環境到其他節點
8.3.5 啟動HDFS-HA叢集
1）在各個JournalNode節點上，輸入以下指令啟動journalnode服務：
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start journalnode
2）在[nn1]上，對其進行格式化，并啟動：
[[email protected] hadoop-2.7.2]$ bin/hdfs namenode -format
[atguig[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
3）在[nn2]上，同步nn1的中繼資料資訊：
[atgui[email protected] hadoop-2.7.2]$ bin/hdfs namenode -bootstrapStandby
4）啟動[nn2]：
[atguig[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
5）檢視web頁面顯示（舊的HDFS截圖）
6）在[nn1]上，啟動所有datanode
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemons.sh start datanode
7）将[nn1]切換為Active
[[email protected] hadoop-2.7.2]$ bin/hdfs haadmin -transitionToActive nn1
8）檢視是否Active
[atguigu@hadoop102 hadoop-2.7.2]$ bin/hdfs haadmin -getServiceState nn1
8.4 HDFS-HA自動故障轉移
8.4.1工作要點
前面學習了使用指令hdfs haadmin -failover手動進行故障轉移，在該模式下，即使現役NameNode已經失效，系統也不會自動從現役NameNode轉移到待機NameNode，下面學習如何配置部署HA自動進行故障轉移。自動故障轉移為HDFS部署增加了兩個新元件：ZooKeeper和ZKFailoverController（ZKFC）程序。ZooKeeper是維護少量協調資料，通知用戶端這些資料的改變和監視用戶端故障的高可用服務。HA的自動故障轉移依賴于ZooKeeper的以下功能：
1）故障檢測：叢集中的每個NameNode在ZooKeeper中維護了一個持久會話，如果機器崩潰，ZooKeeper中的會話将終止，ZooKeeper通知另一個NameNode需要觸發故障轉移。
2）現役NameNode選擇：ZooKeeper提供了一個簡單的機制用于唯一的選擇一個節點為active狀态。如果目前現役NameNode崩潰，另一個節點可能從ZooKeeper獲得特殊的排外鎖以表明它應該成為現役NameNode。
ZKFC是自動故障轉移中的另一個新元件，是ZooKeeper的用戶端，也監視和管理NameNode的狀态。每個運作NameNode的主機也運作了一個ZKFC程序，ZKFC負責：
1）健康監測：ZKFC使用一個健康檢查指令定期地ping與之在相同主機的NameNode，隻要該NameNode及時地回複健康狀态，ZKFC認為該節點是健康的。如果該節點崩潰，當機或進入不健康狀态，健康監測器辨別該節點為非健康的。
2）ZooKeeper會話管理：當本地NameNode是健康的，ZKFC保持一個在ZooKeeper中打開的會話。如果本地NameNode處于active狀态，ZKFC也保持一個特殊的znode鎖，該鎖使用了ZooKeeper對短暫節點的支援，如果會話終止，鎖節點将自動删除。
3）基于ZooKeeper的選擇：如果本地NameNode是健康的，且ZKFC發現沒有其它的節點目前持有znode鎖，它将為自己擷取該鎖。如果成功，則它已經赢得了選擇，并負責運作故障轉移程序以使它的本地NameNode為active。故障轉移程序與前面描述的手動故障轉移相似，首先如果必要保護之前的現役NameNode，然後本地NameNode轉換為active狀态。
圖 HDFS-HA故障轉移機制
8.4.2 規劃叢集
hadoop102 hadoop103 hadoop104
NameNode NameNode
JournalNode JournalNode JournalNode
DataNode DataNode DataNode
ZK ZK ZK
ResourceManager
NodeManager NodeManager NodeManager
8.4.3 配置Zookeeper叢集
zookeeper詳細文章傳送門：大資料之Zookeeper：zookeeper資料結構、zookeeper安裝、zookeeper内部原理、分布式zookeeper部署、指令行、zookeeper的API、監聽伺服器動态上下線案例
0）叢集規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
1）解壓安裝
（1）解壓zookeeper安裝包到/opt/module/目錄下
[[email protected] software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）在/opt/module/zookeeper-3.4.10/這個目錄下建立zkData
[[email protected] zookeeper-3.4.10]$ mkdir -p zkData
（3）重命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg為zoo.cfg
[[email protected] conf]$ mv zoo_sample.cfg zoo.cfg
2）配置zoo.cfg檔案
（1）具體配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（2）配置參數解讀
Server.A=B:C:D。
A是一個數字，表示這個是第幾号伺服器；
B是這個伺服器的ip位址；
C是這個伺服器與叢集中的Leader伺服器交換資訊的端口；
D是萬一叢集中的Leader伺服器挂了，需要一個端口來重新進行選舉，選出一個新的Leader，而這個端口就是用來執行選舉時伺服器互相通信的端口。
叢集模式下配置一個檔案myid，這個檔案在dataDir目錄下，這個檔案裡面有一個資料就是A的值，Zookeeper啟動時讀取此檔案，拿到裡面的資料與zoo.cfg裡面的配置資訊比較進而判斷到底是哪個server。
3）叢集操作
（1）在/opt/module/zookeeper-3.4.10/zkData目錄下建立一個myid的檔案
[[email protected] zkData]$ touch myid
添加myid檔案，注意一定要在linux裡面建立，在notepad++裡面很可能亂碼
（2）編輯myid檔案
[[email protected] zkData]$ vi myid
在檔案中添加與server對應的編号：如2
（3）拷貝配置好的zookeeper到其他機器上
[[email protected] zkData]$ scp -r zookeeper-3.4.10/ hadoop103:/opt/module/
[[email protected] zkData]$ scp -r zookeeper-3.4.10/ hadoop104:/opt/module/
并分别修改myid檔案中内容為3、4
（4）分别啟動zookeeper
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh start
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh start
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh start
（5）檢視狀态
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[[email protected] zookeeper-3.4.10]$ bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
8.4.4 配置HDFS-HA自動故障轉移
1）具體配置
（1）在hdfs-site.xml中增 加
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
（2）在core-site.xml檔案中增加
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
（3）分發
2）啟動
（1）關閉所有HDFS服務：
[[email protected] hadoop-2.7.2]$ sbin/stop-dfs.sh
（2）啟動Zookeeper叢集：
[[email protected] hadoop-2.7.2]$ bin/zkServer.sh start
（3）初始化HA在Zookeeper中狀态：
[[email protected] hadoop-2.7.2]$ bin/hdfs zkfc -formatZK
（4）啟動HDFS服務：
[[email protected] hadoop-2.7.2]$ sbin/start-dfs.sh
（5）在各個NameNode節點上啟動DFSZK Failover Controller，先在哪台機器啟動，哪個機器的NameNode就是Active NameNode
[at[email protected] hadoop-2.7.2]$ sbin/hadoop-daemin.sh start zkfc
3）驗證:将Active NameNode程序kill
[[email protected] hadoop-2.7.2]$ kill -9 namenode的程序id
8.5 YARN-HA配置
8.5.1 YARN-HA工作機制
1）官方文檔：
http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html
2）YARN-HA工作機制
8.5.2 配置YARN-HA叢集
0）環境準備
（1）修改IP
（2）修改主機名及主機名和IP位址的映射
（3）關閉防火牆
（4）ssh免密登入
（5）安裝JDK，配置環境變量等
（6）配置Zookeeper叢集(先搭好zookeeper)
1）規劃叢集
hadoop102 hadoop103 hadoop104
NameNode NameNode
JournalNode JournalNode JournalNode
DataNode DataNode DataNode
ZK ZK ZK
ResourceManager ResourceManager
NodeManager NodeManager NodeManager
2）具體配置
（1）yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--啟用resourcemanager ha-->
<property>
<name>yarn.resourcemanager.ha.enabled</name>
<value>true</value>
</property>
<!--聲明兩台resourcemanager的位址-->
<property>
<name>yarn.resourcemanager.cluster-id</name>
<value>cluster-yarn1</value>
</property>
<property>
<name>yarn.resourcemanager.ha.rm-ids</name>
<value>rm1,rm2</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop102</value>
</property>
<property>
<name>yarn.resourcemanager.hostname.rm2</name>
<value>hadoop103</value>
</property>
<!--指定zookeeper叢集的位址-->
<property>
<name>yarn.resourcemanager.zk-address</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
<!--啟用自動恢複-->
<property>
<name>yarn.resourcemanager.recovery.enabled</name>
<value>true</value>
</property>
<!--指定resourcemanager的狀态資訊存儲在zookeeper叢集-->
<property>
<name>yarn.resourcemanager.store.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>
</configuration>
（2）同步更新其他節點的配置資訊
3）啟動hdfs
（1）在各個JournalNode節點上，輸入以下指令啟動journalnode服務：
[[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start journalnode
（2）在[nn1]上，對其進行格式化，并啟動：
[[email protected] hadoop-2.7.2]$ bin/hdfs namenode -format
[atguig[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
（3）在[nn2]上，同步nn1的中繼資料資訊：
[atgui[email protected] hadoop-2.7.2]$ bin/hdfs namenode -bootstrapStandby
（4）啟動[nn2]：
[atguig[email protected] hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
（5）啟動所有datanode
[atguigu@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemons.sh start datanode
（6）将[nn1]切換為Active
[[email protected] hadoop-2.7.2]$ bin/hdfs haadmin -transitionToActive nn1
4）啟動yarn
（1）在hadoop102中執行：
[[email protected] hadoop-2.7.2]$ sbin/start-yarn.sh
（2）在hadoop103中執行：
[[email protected] hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
（3）檢視服務狀态
[atguigu@hadoop102 hadoop-2.7.2]$ bin/yarn rmadmin -getServiceState rm1
8.6 HDFS Federation架構設計
1） NameNode架構的局限性
（1）Namespace（命名空間）的限制
由于NameNode在記憶體中存儲所有的中繼資料（metadata），是以單個namenode所能存儲的對象（檔案+塊）數目受到namenode所在JVM的heap size的限制。50G的heap能夠存儲20億（200million）個對象，這20億個對象支援4000個datanode，12PB的存儲（假設檔案平均大小為40MB）。随着資料的飛速增長，存儲的需求也随之增長。單個datanode從4T增長到36T，叢集的尺寸增長到8000個datanode。存儲的需求從12PB增長到大于100PB。
（2）隔離問題
由于HDFS僅有一個namenode，無法隔離各個程式，是以HDFS上的一個實驗程式就很有可能影響整個HDFS上運作的程式。
（3）性能的瓶頸
由于是單個namenode的HDFS架構，是以整個HDFS檔案系統的吞吐量受限于單個namenode的吞吐量。
2）HDFS Federation架構設計
能不能有多個NameNode
NameNode NameNode NameNode
中繼資料 中繼資料 中繼資料
Log machine 電商資料/話單資料
3）HDFS Federation應用思考
不同應用可以使用不同NameNode進行資料管理 圖檔業務、爬蟲業務、日志審計業務
Hadoop生态系統中，不同的架構使用不同的namenode進行管理namespace。（隔離性）