用mapreduce計算wordCount和手機流量統計程式運作過程

WordCount統計

I.         建立工程Wordcount2，建立一個Folder指令為lib，并導入mapreduce相關jar包

II.       編寫Map

III.      編寫Reduce

IV.     編寫運作程式Main

V.       打包成jar包

A.       右鍵工程，點選Export

B.       選擇java裡的JAR file，進行打包

C.       指定jar包的路徑

D.       點選Next下一步

E.        選擇Main class

F.         點選Finish 生成jar包。右鍵檢視屬性看看jar包大小，太小表示壓縮不成功

G.       把生成的jar包複制到/opt目錄裡

H.       在根目錄下建立一個wordcount目錄，并建立兩個檔案hello1.txt和hello2.txt

I.          進入hadoop目錄下啟動hadoop

J.         把本地目錄/wordcount上傳到hdfs上的/wordcount目錄下

K.       運作jar包。開始計算hello1和hello2檔案的内容

L.        檢視/output目錄，檢視/output/part-r-00000裡的内容

手機流量統計

VI.      建立工程phoneflow，建立一個Folder指令為lib，并導入mapreduce相關jar包

VII.    封裝一個PhoneFlow實體類

VIII. 編寫Map

IX.      編寫Reduce

X.       編寫運作程式Main

XI.      打包成jar包

A.       右鍵工程，點選Export

B.       選擇java裡的JAR file，進行打包

C.       選擇java裡的JAR file，進行打包

D.       點選Next下一步

E.        選擇Main class

F.         點選Finish 生成jar包。右鍵檢視屬性看看jar包大小，太小表示壓縮不成功

G.       把生成的jar包複制到/opt目錄裡

H.把phone.log檔案複制在/opt目錄下

I.在hdfs上建立一個新目錄/phoneflow,并把/opt/phone.log檔案上傳到/phnoeflow/phone.log

J. 運作PhoneFlow.jar包。開始計算phone.log檔案裡的内容

K.檢視/pfoutput目錄，檢視/pfoutput/part-r-00000裡的内容

附件:日志的格式和内容