天天看點

hadoop支援的資料類型

mapreduce的過程是:

map:(k1,v1)------list(k2,v2)

reduce:(k2,list(v2))------list(k3,v3)

在map和reduce的過渡階段,map出的結果中,key相同的資料會被配置設定到叢集中的同一個節點。

(在map與reduce這兩個階段之間還有一個partitioner階段)

在mapreduce中value的類型必須為writable類或者writablecomparable<t>接口的子類

key的類型必須為writablecomparable類的子類。

writablecomparable類為writable和java.lang.comparable<t>的子類,這是因為key在reduce階段會被分類,而value隻是簡單的傳遞罷了。

一個執行個體類繼承了writablecomparable<t>接口

edge類有可能代表的是兩座城市之間的航線。

繼續閱讀