大資料學習之部署Hadoop

core-site.xml

<!– oozie server的hostname –>

<property>

<name>hadoop.proxyuser.atguigu.hosts</name>

<value>*</value>

</property>

<!– 允許被oozie代理的使用者組 –>

<name>hadoop.proxyuser.atguigu.groups</name>

mapred-site.xml

<!– 配置 mapreduce jobhistory server 位址 ，預設端口10020 –>

<name>mapreduce.jobhistory.address</name>

<value>hadoop102:10020</value>

<!– 配置 mapreduce jobhistory server web ui 位址， 預設端口19888 –>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop102:19888</value>

yarn-site.xml

<!– 任務曆史服務 –>

<name>yarn.log.server.url</name>

<value>http://hadoop102:19888/jobhistory/logs/</value>

完成後：記得scp同步到其他機器節點

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh

[atguigu@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver

注意：需要開啟jobhistoryserver, 最好執行一個mr任務進行測試。