天天看点

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;

4.测试Hadoop分布式集群环境;

首先在通过Master节点格式化集群的文件系统:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;

输入“Y”完成格式化:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;

格式化完成以后,我们启动hadoop集群

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;

我们在尝试一下停止Hadoop集群:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;

此时出现了“no datanode to stop”的错误,出现这种错误的原因如下:

每次使用 “hadoop namenode -format”命令格式化文件系统的时候会出现一个新的namenodeId,而我我们在搭建Hadoop单机伪分布式版本的时候往我们自己创建的tmp目录下放了数据,现在需要把各台机器上的“/usr/local/hadoop/hadoop-1.2.1/”下面的tmp及其子目录的内容清空,于此同时把“/tmp”目录下的与hadoop相关的内容都清空,最后要把我们自定义的hdfs文件夹中的data和name文件夹中的内容清空:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;

把Slave1和Slave2中同样的内容均删除掉。

重新格式化并重新启动集群,此时进入Master的Web控制台:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;

此时可以看到Live  Nodes只有三个,这正是我们预期的,因为我们Master、Slave1、Slave2都设置成为了DataNode,当然Master本身同时也是NameNode。

此时我们通过JPS命令查看一下三台机器中的进程信息:

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第二步)(4)...4.测试Hadoop分布式集群环境;

发现Hadoop集群的各种服务都正常启动。

至此,Hadoop集群构建完毕。

版权声明:本文为CSDN博主「weixin_33859665」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/weixin_33859665/article/details/92156395