YARN RM-HA 搭建

高可用： https://hadoop.apache.org/docs/r2.6.5/hadoop-yarn/hadoop-yarn-sit e/ResourceManagerHA.html

1. mapred-site.xm

   指定 mr 作業運作的架構：要麼本地運作，要麼使用 MRv1，要麼使用 yarnl

<property> 
  <name>mapreduce.framework.name</name> 
  <value>yarn</value>
 </property>      

1. yarn-site.xml

<!-- 讓 yarn 的容器支援 mapreduce 的洗牌，開啟 shuffle 服務 --> <property> 
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value> 
</property> 
<!-- 啟用 resourcemanager 的 HA -->
<property> 
  <name>yarn.resourcemanager.ha.enabled</name>               
  <value>true</value> 
</property>
 <!-- 指定 zookeeper 叢集的各個節點位址和端口号 --> 
 <property> 
  <name>yarn.resourcemanager.zk-address</name>  
  <value>node2:2181,node3:2181,node4:2181</value> 
 </property> 
 <!-- 辨別叢集，以確定 RM 不會接管另一個叢集的活動。 --> 
 <property> 
  <name>yarn.resourcemanager.cluster-id</name> 
  <value>cluster1</value> 
 </property>
  <!-- RM HA 的兩個 resourcemanager 的名字 --> 
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name> 
   <value>rm1,rm2</value> 
 </property> 
<!-- 指定 rm1 的 reourcemanager 程序所在的主機名稱 -->
 <property> 
  <name>yarn.resourcemanager.hostname.rm1</name> 
  <value>node3</value>
 </property>
   <!-- 指定 rm2 的 reourcemanager 程序所在的主機名稱 --> <property> 
   <name>yarn.resourcemanager.hostname.rm2</name> 
   <value>node4</value> 
 </property>      

将配置檔案在四台伺服器同步

[root@node1 hadoop]# pwd /opt/hadoop-2.6.5/etc/hadoop 
[root@node1 hadoop]#scp mapred-site.xml yarn-site.xml node[234]:`pwd`      

node1: 首先啟動 HDFS starthdfs.sh

在 node3 和 node4 上執行指令,啟動 ResourceManager：

Node3:

start-yarn.sh（隻能啟動本機上的 ResourceManager 和其他節點的 NodeManager）