hadoop單機部署僞分布式系列3:YARN

 安裝服務 單機版Yarn：ResourceManager、NodeManager

環境準備： 節點：10.1.253.178(hostname:cdh1) 節點已經安裝完成HDFS服務，參見： hadoop單機部署僞分布式系列1:HDFS

安裝包： hadoop-2.0.0-cdh4.2.1.tar.gz（使用已經安裝完成後的HDFS對應的包，Yarn與HDFS內建在一個包内）

部署步驟： 1. 修改以下檔案 yarn檔案1：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/mapred-site.xml mv ~/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/mapred-site.xml.templat ~/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/mapred-site.xml

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

yarn檔案2：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/yarn-site.xml：

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce.shuffle</value>

</property>

<property>

    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

    <value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property> yarn檔案3：/home/liulu/app/hadoop-2.0.0-cdh4.2.1/etc/hadoop/conf/slaves:

localhost

2. 啟動yarn叢集

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/sbin ./start-yarn.sh

3. 檢查yarn叢集 看程序（ResourceManager、NodeManager）： [[email protected] sbin]$ jps -m 25751 DataNode 25610 NameNode 9304 ResourceManager 9423 NodeManager 25936 SecondaryNameNode 看yarn監控頁面： http://10.1.253.178:8088/cluster

4. yarn操作

執行wordcount例子

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/bin

./hdfs dfs -mkdir /in

./hdfs dfs -put ~/testfile /in/（準備源資料）

 ./yarn jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.0-cdh4.2.1.jar wordcount /in /out（執行wordcount）

./hdfs dfs -ls /out（檢視輸出結果）

5. 關閉yarn

cd /home/liulu/app/hadoop-2.0.0-cdh4.2.1/sbin

./stop-yarn.sh

參考文檔： http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-install/