天天看點

【Hadoop】MAC下hadoop2.6安裝以及執行wordcount

首先簡單介紹下部落客的配置環境

MAC 10.10.0

hadoop 2.6

JDK 1.6(可以在shell裡用jdk -version查詢)

安裝的話推薦使用mac下面的brew,理由就是用brew安裝的話,它會自動給幫你配置好相應的路徑。當然也可以到官網下載下傳,注意jdk和hadoop版本要對應。

安裝好了之後,可以使用brew list hadoop 來檢視。

位置應該是在:/usr/local/Cellar/hadoop/

這時候就可以直接在shell裡執行hadoop指令,是不是很友善。

首先說一下,現在要執行的wordcount隻是簡單試驗下hadoop是否能工作,并不是多線程的僞分布式,因為還沒有配置,這個下一節會講。

<dl></dl>

<dt>1.首先我們先建立以下資料源</dt>

<dd>在hadoop根目錄下,建立一個檔案夾,叫“input”</dd>

<dd>在裡面放上txt資料,我直接把”readme.txt”copy 進去了</dd>

<dt>2.這時候我們就可以執行hadoop的自帶指令了</dt>

<dd>首先要找到 hadoop-mapreduce-examples-2.6.0.jar 這個檔案的路徑,因為自帶的例子都是在這個裡面的。</dd>

<dd>用 jar 指令來執行,因為都是java寫的嘛。</dd>

3.執行指令

<dt>4.效果</dt>

<dd>這時候你會發現shell蹦出一大串東西</dd>

<dd>最終會生成一個output檔案夾,裡面的東西打開,就是wordcount</dd>

【Hadoop】MAC下hadoop2.6安裝以及執行wordcount
本文來自部落格 “李博Garvin“