Hadoop学习笔记(四) HadoopYarn

1.配置

配置文件(一)

yarn-env.sh

配置文件(二)

yarn-site.xml

<configuration>
<!--指定YARN的ResourceManager的地址-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--指定YARN的ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop001</value>
    </property>
<!--暂时忽略-->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>           

配置文件(三)

mapred-env.sh 配置JAVA_HOME

配置文件(四)

mapred-site.xml

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>           

2.启动集群

(1) 启动前必须保证NameNode和DataNode已经启动;

(2) 启动ResourceManager

yarn --daemon.sh  start resourcemanager           

(3) 启动NodeManager

yarn --daemon.sh  start nodemanager


           

附上： yarn --daemon stop resourcemanager

yarn --daemon stop nodemanager           

3、查看后台

ip地址：8088

运行wordcount案例后

4 。历史服务器

vi etc/hadoop/mapred-site.xml

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop101:10020</value>
</property>

<!--历史服务器web端地址-->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop101:19888</value>
</property>           

启动历史服务器

mr-jobhistory-daemon.sh start historyserver

或者 mapred --daemon stop historyserver

1. 日志聚集 yarn-site.xml

   <name>yarn.log-aggregation-enable</name>
      <value>true</value>           

   <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>           

   需要关闭resourcemanager、nodemanager、historyserver

记录mapreduce任务运行报错 “错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster”

解决办法

<property>
    <name>yarn.application.classpath</name>
    <value>使用命令hadoop classpath 获取到对应的路径并粘贴到这里</value>
</property>