天天看點

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

環境背景:

Hadoop僞分布式已經搭建完成

Hadoop2.6.0

Hadoop僞分布搭建見:

Hadoop僞分布式的搭建詳情https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502

案例實施:

1.啟動叢集:

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例
三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

 2.進入虛拟機浏覽器位址欄localhost:50070和localhost:8088檢視叢集狀态:

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例
三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例
       注:Wordcount是MapReduce的入門示例程式,相當于我們在學某個程式設計語言時寫的Hello World示例一樣。這個程式可以統計某個檔案中,各個單詞出現的次數。Wordcount程式自帶的jar包已經放置在hadoop安裝目錄下的 /share/hadoop/mapreduce 檔案夾中。

3.配置wordcount環境:

        (1)進入Hadoop安裝路徑下可以看到:圖中的txt檔案為Hadoop自帶的測試檔案,這裡将進行自定義檔案進行操作。

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

         (2)在這裡我們建立wordcount.txt檔案進行測試,文本内容如下:

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例
三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

        (3)在HDFS根目錄下建立input目錄:

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

        (4)将本地的wordcount.txt上傳到HDFS的input目錄下:

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

        (5)檢視檔案是否上傳成功:         

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例
注:如圖出現/input和/input/wordcount.txt檔案即為上傳成功

4.運作wordcount案例:

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例
注:使用hadoop jar指令 +mapreduce自帶的jar包路徑(絕對路徑)+檔案名+輸入路徑+輸出路徑        #此處jar包根據自身實際情況進行修改

        運作過程注意觀察這幾處字樣,即為運作成功:

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例
三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

5.檢視運作結果:

        再次檢視運作結果檔案:

三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例
         可以看到,程式運作産生了很多檔案,其中/output/part -r -00000即為程式運作完成時的結果檔案,如下圖:
三十二、基于Hadoop僞分布式運作Hadoop自帶wordcount案例

基于Hadoop僞分布式運作Hadoop自帶wordcount案例完成

繼續閱讀