天天看點

MapReduce 的架構

主從結構

主節點,隻有一個 : JobTracker   ,JobTracker 一般情況下,運作在 namenode 這台機器上。 從節點,有很多個 : TaskTrackers  ,  部署在剩下的 datanode 上。

這裡談的 JobTracker 、TaskTrackers 都是 JVM。

JobTracker 負責:

接收客戶送出的計算任務

計算任務: 肯定是一段代碼---你要怎麼操作我的資料。

把計算任務分給TaskTrackers 執行 監控TaskTracker的執行情況

我把任務配置設定給你了,能否配置設定成功?失敗怎麼辦?工作的進度?工作的結果? 如果出現了這些問題,MapReduce都會透明的幫我們解決掉這些問題。假如被配置設定到任務的 TaskTracker 不能夠 順利的完成任務,JobTracker會透明的把任務切換到 另外一台虛拟機上。 但是這種 切換 我們是感覺不到的,這就是用架構的好處,我們寫 java 的人隻需要關注 業務邏輯。

TaskTrackers 負責 :

執行JobTracker配置設定的計算任務開始做,堅持做,重複做