我相信每個人部署完hadoop 環境之後,都想運作一下程式,就比如學習java的時候,配置好環境變量,就想運作一下程式輸出一個hellop word。
wordcount程式,統計文本中的字元出現次數。本次,主要目的是在liunx運作一下wordcount,看看輸出的效果。下一篇會介紹在win系統下連結linux hadoop 叢集,運作wordcount,并了解hadoop 的mapreduce元件。
hadoop 叢集搭建請移步:https://mp.csdn.net/mdeditor/84073712
第一步:hdfs系統建立input 目錄。
hadoop fs -mkdir input
第二步:上傳需處理的檔案到hadoop的hdfs系統
本地建立 a.txt,b.txt 檔案,将檔案上傳到hadoop的hdfs系統上。
我的a.txt,和b.txt 反正test目錄下。
hadoop -fs -put test/a.txt input
hadoop -fs -put test/b.txt input
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLiAzNfRHLGZkRGZkRfJ3bs92YsYTMfVmepNHLxcmaNdXTE9UeJpHW4Z0MMBjVtJWd0ckW65UbM5WOHJWa5kHT20ESjBjUIF2X0hXZ0xCMx81dvRWYoNHLrdEZwZ1Rh5WNXp1bwNjW1ZUba9VZwlHdssmch1mclRXY39CXldWYtlWPzNXZj9mcw1ycz9WL49zZuBnLyETO1UTOycTM2ETMxgTMwIzLc52YucWbp5GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.png)
可以看到 a.txt 和 b.txt的内容。
第三步:運作wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar wordcount input output
運作後,會生成output 檔案夾,計算結果就放在了 part-r-00000 檔案下,結果如下圖。