大資料|| YARN對叢集資源進行管理與排程及配置節點資源

說明：記憶體8G 、CPU 是8核。其實沒有那麼多，我虛拟機隻給了2G 1核。那是為什麼？配置檔案裡面配置的。

YARN允許使用者配置每個節點上可用的實體記憶體資源，注意，這裡是“可用的”，因為一個節點上的記憶體會被若幹個服務共享，比如一部分給YARN，一部分給HDFS，一部分給HBase等，YARN配置的隻是自己可以使用的，配置參數如下：

目前的CPU被劃分成虛拟CPU（CPU virtual Core），這裡的虛拟CPU是YARN自己引入的概念，初衷是，考慮到不同節點的CPU性能可能不同，每個CPU具有的計算能力也是不一樣的，比如某個實體CPU的計算能力可能是另外一個實體CPU的2倍，這時候，你可以通過為第一個實體CPU多配置幾個虛拟CPU彌補這種差異。使用者送出作業時，可以指定每個任務需要的虛拟CPU個數。在YARN中，CPU相關配置參數如下：