主從結構
主節點,隻有一個 : JobTracker ,JobTracker 一般情況下,運作在 namenode 這台機器上。 從節點,有很多個 : TaskTrackers , 部署在剩下的 datanode 上。
這裡談的 JobTracker 、TaskTrackers 都是 JVM。
JobTracker 負責:
接收客戶送出的計算任務
計算任務: 肯定是一段代碼---你要怎麼操作我的資料。
把計算任務分給TaskTrackers 執行 監控TaskTracker的執行情況
我把任務配置設定給你了,能否配置設定成功?失敗怎麼辦?工作的進度?工作的結果? 如果出現了這些問題,MapReduce都會透明的幫我們解決掉這些問題。假如被配置設定到任務的 TaskTracker 不能夠 順利的完成任務,JobTracker會透明的把任務切換到 另外一台虛拟機上。 但是這種 切換 我們是感覺不到的,這就是用架構的好處,我們寫 java 的人隻需要關注 業務邏輯。
TaskTrackers 負責 :
執行JobTracker配置設定的計算任務開始做,堅持做,重複做