Hadoop學習筆記(四) HadoopYarn

1.配置

配置檔案(一)

yarn-env.sh

配置檔案(二)

yarn-site.xml

<configuration>
<!--指定YARN的ResourceManager的位址-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--指定YARN的ResourceManager的位址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
    </property>
<!--暫時忽略-->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>           

配置檔案(三)

mapred-env.sh 配置JAVA_HOME

配置檔案(四)

mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>           

2.啟動叢集

(1) 啟動前必須保證NameNode和DataNode已經啟動;

(2) 啟動ResourceManager

yarn --daemon.sh  start resourcemanager           

(3) 啟動NodeManager

yarn --daemon.sh  start nodemanager


           

附上： yarn --daemon stop resourcemanager

yarn --daemon stop nodemanager           

3、檢視背景

ip位址：8088

運作wordcount案例後

4 。曆史伺服器

vi etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
</property>

<!--曆史伺服器web端位址-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>           

啟動曆史伺服器

mr-jobhistory-daemon.sh start historyserver

或者 mapred --daemon stop historyserver

1. 日志聚集 yarn-site.xml

   <name>yarn.log-aggregation-enable</name>
      <value>true</value>           

   <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>           

   需要關閉resourcemanager、nodemanager、historyserver

記錄mapreduce任務運作報錯 “錯誤: 找不到或無法加載主類 org.apache.hadoop.mapreduce.v2.app.MRAppMaster”

解決辦法

<property>
    <name>yarn.application.classpath</name>
    <value>使用指令hadoop classpath 擷取到對應的路徑并粘貼到這裡</value>
</property>