spark 叢集啟動後，worker 節點worker 程序一段時間後自動結束

1 啟動環境：

• 啟動hdfs: ./sbin/start-dfs.sh (hadoop 目錄)
• 啟動spark叢集：./sbin/start-all.sh (在spark目錄下)
• 檢查是否啟動：檢視各節點折datanode Worker 程序是否啟動了

2 遇到的問題：

各節點中的worker程序啟動，spark UI 管理界面顯示卻隻有master 啟動，worker 節點都顯示，過一會兒，worker 節點會自動關閉

原因：

虛拟機是複制的，各節點主機名一緻，

解決：

修改主機名，并将叢集所有主機名,ip 映射加到/etc/hosts(每一個節點都要加)

附：修改linux 主機的方法

vim /etc/hostname
           

将内容修改為newname 然後重新開機機器