天天看点

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

环境背景:

Hadoop伪分布式已经搭建完成

Hadoop2.6.0

Hadoop伪分布搭建见:

Hadoop伪分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502

案例实施:

1.启动集群:

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

 2.进入虚拟机浏览器地址栏localhost:50070和localhost:8088查看集群状态:

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
       注:Wordcount是MapReduce的入门示例程序,相当于我们在学某个编程语言时写的Hello World示例一样。这个程序可以统计某个文件中,各个单词出现的次数。Wordcount程序自带的jar包已经放置在hadoop安装目录下的 /share/hadoop/mapreduce 文件夹中。

3.配置wordcount环境:

        (1)进入Hadoop安装路径下可以看到:图中的txt文件为Hadoop自带的测试文件,这里将进行自定义文件进行操作。

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

         (2)在这里我们新建wordcount.txt文件进行测试,文本内容如下:

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

        (3)在HDFS根目录下新建input目录:

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

        (4)将本地的wordcount.txt上传到HDFS的input目录下:

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

        (5)查看文件是否上传成功:         

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
注:如图出现/input和/input/wordcount.txt文件即为上传成功

4.运行wordcount案例:

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
注:使用hadoop jar命令 +mapreduce自带的jar包路径(绝对路径)+文件名+输入路径+输出路径        #此处jar包根据自身实际情况进行修改

        运行过程注意观察这几处字样,即为运行成功:

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

5.查看运行结果:

        再次查看运行结果文件:

三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例
         可以看到,程序运行产生了很多文件,其中/output/part -r -00000即为程序运行完成时的结果文件,如下图:
三十二、基于Hadoop伪分布式运行Hadoop自带wordcount案例

基于Hadoop伪分布式运行Hadoop自带wordcount案例完成

继续阅读