天天看點

hadoop系列文檔4-配置Yarn高可用HA背景架構設計如何配置Yarn(HA)如何啟動

背景

之前有一篇高可用HDFS HA的配置文檔,此文檔類似上次,介紹如何配置高可用Yarn’s ResourceManager,在hadoop中預設隻有一個ResourceManger,現在增加一個節點,類似我們的NameNode的active/stangdby狀态。

參考文章

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

http://slaytanic.blog.51cto.com/2057708/1423227

架構設計

在一個典型的HA叢集中,兩台獨立的機器被配置成ResourceManger。在任意時間,有且隻允許以個活動的ResourceManger,另外一個備用。這個活動的ResourceManger對叢集内所有的用戶端的操作的負責,另一個備用的隻是簡單的扮演一個slave,維持足夠的狀态以便在必要的提供一個快速得故障轉移。

手動切換:在自動恢複不可用時,管理者可用手動切換狀态,或是從Active到Standby,或是從Standby到Active。

自動切換:基于Zookeeper,但是差別于HDFS的HA,2個節點間無需配置額外的ZFKC守護程序來同步資料。

如何配置Yarn(HA)

注意,在此之前,請先確定已經安裝hadoop叢集,已經安裝zookeeper叢集。

配置設定每個節點需要安裝的服務:

在上述基礎上,介紹關系配置資訊

hadoop系列文檔4-配置Yarn高可用HA背景架構設計如何配置Yarn(HA)如何啟動

這是官網推薦的最簡配置。下面我自己的配置

hadoop系列文檔4-配置Yarn高可用HA背景架構設計如何配置Yarn(HA)如何啟動
 自己的配置      
hadoop系列文檔4-配置Yarn高可用HA背景架構設計如何配置Yarn(HA)如何啟動
hadoop系列文檔4-配置Yarn高可用HA背景架構設計如何配置Yarn(HA)如何啟動
hadoop系列文檔4-配置Yarn高可用HA背景架構設計如何配置Yarn(HA)如何啟動

如何啟動

在這之前,先停掉正在運作的Hadoop叢集。

Step1 正常啟動hadoop叢集

Step2 在另外配置的ResourceManger上啟動服務

Yarn-daemon.sh start resourcemanger
           

啟動之後觀察狀态如下

hadoop系列文檔4-配置Yarn高可用HA背景架構設計如何配置Yarn(HA)如何啟動
hadoop系列文檔4-配置Yarn高可用HA背景架構設計如何配置Yarn(HA)如何啟動

你也可以使用指令來觀察狀态。

$ yarn rmadmin-getServiceState rm1
 Active
           
$ yarn rmadmin -getServiceState rm2
 standby
           

繼續閱讀