天天看點

Hadoop 版本演進

Hadoop版本演進概況:

Hadoop 版本演進

備注:NameNode HA : NameNode高可用 , HDFS Fedreation 分布式檔案系統聯盟 解決了1帶的單點問題

         Yarm 分布式資源管理系統,解決JobTrack單點問題

1. hadoop 1.x 版本的生态系統:

Hadoop 版本演進

2. hadoop 2.x版本的生态系統:

Hadoop 版本演進

對于分布式系統和架構的架構來說,一般分為兩部分:

第一部分:管理層(用于管理應用層)

第二部分:應用層 (工作的)

對于HDFS,分布式檔案系統:

    NameNode:    屬于管理層,用于管理資料的存儲

    SecondNameNode:也屬于管理層,用于輔助管理資料的存儲

    DateNode:屬于 應用層 ,使用者進行資料存儲,被NameNode管理,定時向NameNode進行工作彙報,執行NameNode配置設定分發的任務

對于MapReduce,分布式計算架構:

    JobTrack : 屬于管理層,用于管理叢集的資源,對叢集的任務資源進行排程,并監控任務的執行。

    TaskTrack: 屬于應用層,用于執行JobTrack配置設定分發的任務,并向JobTrack彙報執行情況。

對于hadoop 二代版本的yarm系統:

    NodeManager :屬于管理層,節點管理

    ResourceManager:屬于管理層, 資源管理

    DataNode:屬于應用層,被NodeManager  和 ResourceManager管理,執行任務。

繼續閱讀