hadoop—叢集配置曆史伺服器及通路曆史伺服器日志

Hadoop曆史伺服器

 Hadoop自帶了一個曆史伺服器，可以通過曆史伺服器檢視已經運作完的Mapreduce作業記錄，比如用了多少個Map、用了多少個Reduce、作業送出時間、作業啟動時間、作業完成時間等資訊。預設情況下，Hadoop曆史伺服器是沒有啟動的，我們可以通過下面的指令來啟動Hadoop曆史伺服器

曆史伺服器開啟 

mr-jobhistory-daemon.sh start historyserver

配置曆史伺服器

在配置檔案前需要注意的一點就是先把程序打開 start-all.sh，不然是通路不到網頁的

1. 首先根目錄建立一個目錄檔案夾

   

2. 運作 一 個wordcount 程式 圖中标注有詳細步驟

   

3. 在web端網頁觀察 yarn 的頁面 ip位址為 主機名:8088

   注：如果進入網頁沒有application說明配置檔案有問題，仔細檢視 叢集配置檔案内容  進入有詳細配置檔案代碼 全分布式叢集搭建

   

4. 曆史伺服器 是mapred-site.xml檔案

   全分布式叢集搭建 有配置檔案代碼及詳細步驟

   

   <configuration>
   	<property>
   		<name>mapreduce.framework.name</name>
   		<value>yarn</value>
   		<final>true</final>
   	</property>
   	
   	<property>
   		<name>mapreduce.jobhistory.address</name>
   		<!-- 啟動曆史伺服器-->
   		<value>hadoop:10020</value>
   	</property>
   	
   	<property>
   		<name>mapreduce.jobhistory.webapp.address</name>
   		<!-- 曆史伺服器web通路位址-->
   		<value>hadoop:19888</value>
   	</property>
   	</configuration>
              

   記得叢集機器都得配置，如果配過了就不需要在配置了

5. 日志聚合 在yarn-site.xml 檔案

   全分布式叢集搭建 有配置檔案代碼及詳細步驟

   <property>  
           <name>yarn.log-aggregation-enable</name>
           <value>true</value>
   		<!--開啟日志聚合 -->
   </property>
    <property>  
           <name>yarn.nodemanager.remote-app-log-dir</name>
           <value>/hadoop/logs</value>
   		<!--日志聚合到一個檔案夾中 -->
   </property>
              

   注：每台機器都得配置
6. 配置完畢以後 重新開機yarn 程序 如果程序已開 則先執行

   stop-yarn.sh

   在執行

   start-yarn.sh

7. 啟動曆史伺服器

• 開啟jobhistory程序執行：

  mr-jobhistory-daemon.sh start historyserver

• 關閉jobhistory程序執行：

  mr-jobhistory-daemon.sh stop historyserver

1. 點開進入yarn網頁端 ip位址為 主機名:8088

   若頁面沒有application 再次重新執行一次 wordcount 程式

   注：第2點有詳細步驟

   

   

   

   

2. 如果在點選 history 曆史記錄進入的時候，報 Not found 找不到什麼之類的問題時，重新啟動曆史伺服器的程序就好了。