spark 集群启动后，worker 节点worker 进程一段时间后自动结束

1 启动环境：

• 启动hdfs: ./sbin/start-dfs.sh (hadoop 目录)
• 启动spark集群：./sbin/start-all.sh (在spark目录下)
• 检查是否启动：查看各节点折datanode Worker 进程是否启动了

2 遇到的问题：

各节点中的worker进程启动，spark UI 管理界面显示却只有master 启动，worker 节点都显示，过一会儿，worker 节点会自动关闭

原因：

虚拟机是复制的，各节点主机名一致，

解决：

修改主机名，并将集群所有主机名,ip 映射加到/etc/hosts(每一个节点都要加)

附：修改linux 主机的方法

vim /etc/hostname
           

将内容修改为newname 然后重启机器