Hadoop版本演進概況:
備注:NameNode HA : NameNode高可用 , HDFS Fedreation 分布式檔案系統聯盟 解決了1帶的單點問題
Yarm 分布式資源管理系統,解決JobTrack單點問題
1. hadoop 1.x 版本的生态系統:
2. hadoop 2.x版本的生态系統:
對于分布式系統和架構的架構來說,一般分為兩部分:
第一部分:管理層(用于管理應用層)
第二部分:應用層 (工作的)
對于HDFS,分布式檔案系統:
NameNode: 屬于管理層,用于管理資料的存儲
SecondNameNode:也屬于管理層,用于輔助管理資料的存儲
DateNode:屬于 應用層 ,使用者進行資料存儲,被NameNode管理,定時向NameNode進行工作彙報,執行NameNode配置設定分發的任務
對于MapReduce,分布式計算架構:
JobTrack : 屬于管理層,用于管理叢集的資源,對叢集的任務資源進行排程,并監控任務的執行。
TaskTrack: 屬于應用層,用于執行JobTrack配置設定分發的任務,并向JobTrack彙報執行情況。
對于hadoop 二代版本的yarm系統:
NodeManager :屬于管理層,節點管理
ResourceManager:屬于管理層, 資源管理
DataNode:屬于應用層,被NodeManager 和 ResourceManager管理,執行任務。