hadoop是分布式系統基礎架構:
1)主要解決的是海量資料的存儲和海量資料的分析計算
2)haddop的三大發行版本,一下這個是免費的版本
3)hadoop的優勢
高可靠性、高擴充性、高效性(并行工作)、高容錯性
4)hadoop1.x組成:common輔助工具、hdfs資料存儲、MapReduce計算+資源排程
5)HDFS架構的概述:
1、NAmeNode:存儲檔案的中繼資料(比如檔案名、檔案目錄結構、檔案屬性)
2、DataNode在本地的檔案系統村吓唬檔案塊資料以及塊資料的檢驗和
3、secondary NameNode是輔助NameNode的
5)Yarn架構:
以下是ResourceMAnager的主要的作用
1、處理用戶端請求
2、監控NodeManager
3、啟動或監控ApplicationMaster
4、資源的配置設定與排程
以下是NodeManager主要的作用如下:
1、管理單的節點上的資源
2、處理來自ResourceManager的指令
3、處理來時ApplicationMaster的指令
以下是Applicatonmaster的作用:
1、負責資料的切分
2、為應用程式申請資源并配置設定給内部的任務
3、任務的監控和容錯
以下是containter:
是yarn的資源抽象,如記憶體
6)mapreduce架構的概述
将計算的過程分為了兩個階段:Map和Reduce這兩個。其中Map階段是負責分的而reduce是負責和的