Hadoop項目的四個子產品
- hadoop common(為其他hadoop子產品提供基礎設施)
- hdfs（一個高可靠，高吞吐量的分布式檔案系統）
- mapreduce（一個分布式離線的并行計算架構）
- yarn（任務排程和資源管理）
HDFS系統架構圖
服務功能介紹
Namenode：主節點，存儲檔案的中繼資料（檔案名，目錄結構，屬性，塊清單，塊所在的datanode）
Datanode：本地檔案系統中存儲檔案塊資料，以及塊資料的校驗和
Secondarynamenode：監控hdfs狀态輔助背景程式，定期擷取hdfs中繼資料的快照
Yarn的架構圖
Yarn服務功能
Mapreduce(離線計算架構)
Yarn對mapreduce資源的排程過程