天天看點

大資料05

hadoop是分布式系統基礎架構:

1)主要解決的是海量資料的存儲和海量資料的分析計算

2)haddop的三大發行版本,一下這個是免費的版本

 3)hadoop的優勢

高可靠性、高擴充性、高效性(并行工作)、高容錯性

4)hadoop1.x組成:common輔助工具、hdfs資料存儲、MapReduce計算+資源排程

5)HDFS架構的概述:

1、NAmeNode:存儲檔案的中繼資料(比如檔案名、檔案目錄結構、檔案屬性)

2、DataNode在本地的檔案系統村吓唬檔案塊資料以及塊資料的檢驗和

3、secondary NameNode是輔助NameNode的

5)Yarn架構:

以下是ResourceMAnager的主要的作用

1、處理用戶端請求

2、監控NodeManager

3、啟動或監控ApplicationMaster

4、資源的配置設定與排程

以下是NodeManager主要的作用如下:

1、管理單的節點上的資源

2、處理來自ResourceManager的指令

3、處理來時ApplicationMaster的指令

以下是Applicatonmaster的作用:

1、負責資料的切分

2、為應用程式申請資源并配置設定給内部的任務

3、任務的監控和容錯

以下是containter:

是yarn的資源抽象,如記憶體

6)mapreduce架構的概述

将計算的過程分為了兩個階段:Map和Reduce這兩個。其中Map階段是負責分的而reduce是負責和的