天天看點

Hadoop2.6.0版本MapReudce示例之WordCount(一)

        一、準備測試資料

        1、在本地Linux系統/var/lib/hadoop-hdfs/file/路徑下準備兩個檔案file1.txt和file2.txt,檔案清單及各自内容如下圖所示:

Hadoop2.6.0版本MapReudce示例之WordCount(一)
Hadoop2.6.0版本MapReudce示例之WordCount(一)

        2、在hdfs中,準備/input路徑,并上傳兩個檔案file1.txt和file2.txt,如下圖所示:

        二、編寫代碼,封裝Jar包并上傳至linux

        将代碼封裝成TestMapReduce.jar,并上傳至linux的/usr/local路徑下,如下圖所示:

Hadoop2.6.0版本MapReudce示例之WordCount(一)
Hadoop2.6.0版本MapReudce示例之WordCount(一)

        三、運作指令

        執行指令如下:hadoop jar /usr/local/TestMapReduce.jar com.jngreen.mapreduce.test.WordCount /input/file1.txt /input/file2.txt /output/output

        指令執行過程截圖如下:

Hadoop2.6.0版本MapReudce示例之WordCount(一)
Hadoop2.6.0版本MapReudce示例之WordCount(一)
Hadoop2.6.0版本MapReudce示例之WordCount(一)

        四、檢視運作結果

        檢視hdfs輸出路徑/output下的結果,如下圖所示:

Hadoop2.6.0版本MapReudce示例之WordCount(一)
Hadoop2.6.0版本MapReudce示例之WordCount(一)

        運作結果為Hello 4、Hadoop 1、Man 1、Boy 1、Word 1,完全正确!

        五、WordCount展示

        源碼如下: