天天看點

用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化

注意:目前大象醫生還不支援spark2,社群正在開發,敬請期待。

本文用的示例叢集是EMR3.4.2版本,3節點,4核16GB的預設配置。

叢集清單頁面點選對應叢集的管理按鈕

左側菜單單擊叢集腳本,進入該叢集的叢集腳本執行界面

單擊右上角建立并執行,進入建立界面。

選擇剛才的腳本,設定名字,節點請隻選擇master節點,ha叢集選擇叢集詳情中第一個master節點,點選确認,完成添加并執行操作。

叢集腳本清單可以看到新建立的叢集腳本,點選重新整理可以更新叢集腳本的狀态。

等待叢集腳本完成

本示例用

<code>ssh -i /path/id_rsa -N -L 8158:ip:8098 root@ip</code>,

本地浏覽器打開<code>http://localhost:8158/</code>,可以看到:

用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化
用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化

等待幾分鐘,可以在大象診斷的UI上看到剛才hive作業的診斷

用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化

有個reducer Memory的顔色不是綠色,點選檢視,可以看到是配置設定的reduce記憶體多,而實際用的少

用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化

點選explain,可以看到解釋和優化建議

用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化

根據優化建議,我們調整一下作業内容,<code>set mapreduce.reduce.memory.mb=600;</code>,建立一張表,

用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化

等待幾分鐘,可以看到這次診斷沒有

相應提示了。

用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化
用叢集腳本功能安裝大象醫生優化你的大資料作業安裝大象醫生運作作業并優化

繼續閱讀