天天看點

Linux 環境下運作hadoop 的wordcount 程式

我相信每個人部署完hadoop 環境之後,都想運作一下程式,就比如學習java的時候,配置好環境變量,就想運作一下程式輸出一個hellop word。

wordcount程式,統計文本中的字元出現次數。本次,主要目的是在liunx運作一下wordcount,看看輸出的效果。下一篇會介紹在win系統下連結linux hadoop 叢集,運作wordcount,并了解hadoop 的mapreduce元件。

hadoop 叢集搭建請移步:https://mp.csdn.net/mdeditor/84073712

第一步:hdfs系統建立input 目錄。

hadoop fs -mkdir input

第二步:上傳需處理的檔案到hadoop的hdfs系統

本地建立 a.txt,b.txt 檔案,将檔案上傳到hadoop的hdfs系統上。

我的a.txt,和b.txt 反正test目錄下。

hadoop -fs -put test/a.txt input

hadoop -fs -put test/b.txt input

Linux 環境下運作hadoop 的wordcount 程式

可以看到 a.txt 和 b.txt的内容。

第三步:運作wordcount

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar wordcount input output

Linux 環境下運作hadoop 的wordcount 程式

運作後,會生成output 檔案夾,計算結果就放在了 part-r-00000 檔案下,結果如下圖。

Linux 環境下運作hadoop 的wordcount 程式

繼續閱讀