國内最全最詳細的hadoop2.2.0叢集的MapReduce的最簡單

簡介

hadoop2的中的MapReduce不再是hadoop1中的結構已經沒有了JobTracker，而是分解成ResourceManager和ApplicationMaster。這次大變革被稱為MRv2或者YARN，是一次革命性的變化。

配置

在前面的文章中，我們配置了hadoop2叢集的HA高可靠，下面緊接上前面的配置，設定MapReduce的配置資訊，也是最簡單最容易上手的。

修改檔案yarn-site.xml，内容如下

<configuration>

  <property>

    <name>yarn.resourcemanager.hostname</name>

    <value>hadoop100</value>

  </property>   

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

  </property>

</configuration>

其中，名稱yarn.resourcemanager.hostname指的是運作ResourceManager機器所在的節點位置；名稱yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle，一定要看清楚。

修改mapred-site.xml，内容如下

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

其中，名稱mapreduce.framework.name指的是使用yarn運作mapreduce程式。

啟動了HDFS之後，就可以啟動yarn了。執行指令start-yarn.sh即可啟動MapReduce叢集。

關于hadoop2的其他配置文章，歡迎持續關注我的文章。