首先簡單介紹下部落客的配置環境
MAC 10.10.0
hadoop 2.6
JDK 1.6(可以在shell裡用jdk -version查詢)
安裝的話推薦使用mac下面的brew,理由就是用brew安裝的話,它會自動給幫你配置好相應的路徑。當然也可以到官網下載下傳,注意jdk和hadoop版本要對應。
安裝好了之後,可以使用brew list hadoop 來檢視。
位置應該是在:/usr/local/Cellar/hadoop/
這時候就可以直接在shell裡執行hadoop指令,是不是很友善。
首先說一下,現在要執行的wordcount隻是簡單試驗下hadoop是否能工作,并不是多線程的僞分布式,因為還沒有配置,這個下一節會講。
<dl></dl>
<dt>1.首先我們先建立以下資料源</dt>
<dd>在hadoop根目錄下,建立一個檔案夾,叫“input”</dd>
<dd>在裡面放上txt資料,我直接把”readme.txt”copy 進去了</dd>
<dt>2.這時候我們就可以執行hadoop的自帶指令了</dt>
<dd>首先要找到 hadoop-mapreduce-examples-2.6.0.jar 這個檔案的路徑,因為自帶的例子都是在這個裡面的。</dd>
<dd>用 jar 指令來執行,因為都是java寫的嘛。</dd>
3.執行指令
<dt>4.效果</dt>
<dd>這時候你會發現shell蹦出一大串東西</dd>
<dd>最終會生成一個output檔案夾,裡面的東西打開,就是wordcount</dd>

本文來自部落格 “李博Garvin“