天天看點

spark2-shell啟動spark2報錯

1、spark2-shell指令啟動spark2後,抛出異常,關鍵錯誤資訊如下圖:

spark2-shell啟動spark2報錯

 仔細檢視錯誤資訊之後發現,原來是yarn配置的記憶體不夠,spark啟動需要1024+384 MB的記憶體,但是我的yarn配置僅有1024 MB,不夠滿足spark啟動要求,是以抛出異常。

解決方法

      錄Cloudera Manager,找到YARN (MR2 Included),點選進入,如圖:

spark2-shell啟動spark2報錯

在導航欄找到 配置 選項,點選進入 配置 頁面,如圖:

spark2-shell啟動spark2報錯

在搜尋欄中輸入yarn.scheduler.maximum-allocation-mb,可以看到,該配置參數的值正如spark啟動時抛出的異常所示,為1GB,将其修改為2GB即可,點選儲存更改。

spark2-shell啟動spark2報錯

按照上述的步驟,繼續修改yarn.nodemanager.resource.memory-mb 參數的值為2GB,點選儲存更改,重新開機yarn使設定生效。

 再次進入shell環境如下圖:

spark2-shell啟動spark2報錯

spark2-shellqidong啟動正常!!! 

繼續閱讀