天天看點

Yarn、MapReduce、spark、storm的關系

YARN并不是下一代 MapReduce (MRv2),下一代 MapReduce 與第一代 MapReduce (MRv1)在程式設計接口、資料處理引擎(MapTask和ReduceTask)是完全一樣的, 可認為 MRv2 重用了 MRv1 的這些子產品,不同的是資源管理和作業管理系統, MRv1 中資源管理和作業管理均是由 JobTracker 實作的,集兩個功能于一身,而在 MRv2 中,将這兩部分分開了, 其中,作業管理由 ApplicationMaster 實作,而資源管理由新增系統 YARN 完成。

由于YARN具有通用性,是以 YARN 也可以作為其他計算架構的資源管理系統,不僅限于 MapReduce ,也是其他計算架構,比如 Spark 、 Storm 等, 通常而言,我們一般将運作在 YARN 上的計算架構稱為“X on YARN”,比如“MapReduce On YARN”, “Spark On YARN”,“Storm On YARN”等。

繼續閱讀