注意:目前大象醫生還不支援spark2,社群正在開發,敬請期待。
本文用的示例叢集是EMR3.4.2版本,3節點,4核16GB的預設配置。
叢集清單頁面點選對應叢集的管理按鈕
左側菜單單擊叢集腳本,進入該叢集的叢集腳本執行界面
單擊右上角建立并執行,進入建立界面。
選擇剛才的腳本,設定名字,節點請隻選擇master節點,ha叢集選擇叢集詳情中第一個master節點,點選确認,完成添加并執行操作。
叢集腳本清單可以看到新建立的叢集腳本,點選重新整理可以更新叢集腳本的狀态。
等待叢集腳本完成
本示例用
<code>ssh -i /path/id_rsa -N -L 8158:ip:8098 root@ip</code>,
本地浏覽器打開<code>http://localhost:8158/</code>,可以看到:
等待幾分鐘,可以在大象診斷的UI上看到剛才hive作業的診斷
有個reducer Memory的顔色不是綠色,點選檢視,可以看到是配置設定的reduce記憶體多,而實際用的少
點選explain,可以看到解釋和優化建議
根據優化建議,我們調整一下作業内容,<code>set mapreduce.reduce.memory.mb=600;</code>,建立一張表,
等待幾分鐘,可以看到這次診斷沒有
相應提示了。