溫馨提示:要看高清無碼套圖,請使用手機打開并單擊圖檔放大檢視。
1.文檔編寫目的
在部署CDH叢集或者擴容時,會遇到伺服器配置不同(CPU、Memory、DISK等)的情況,那我們應該如何加入異構裝置,并進行差異化的配置呢?本篇文章主要講述如何使用CM通過角色組對異構裝置進行分組并對角色組進行參數配置。
- 内容概述
1.添加異構裝置
2.建立角色組并配置設定主機
3.配置角色組參數
- 測試環境
1.CM和CDH版本為5.13.0
- 前置條件
1.待加入的異構裝置作業系統版本與叢集中叢集的作業系統版本一緻
2.待加入的異構裝置已完成CDH前置條件準備
2.添加異構裝置
1.使用CM的“向叢集添加新主機”功能,添加異構裝置到叢集
2.向叢集添加新主機(ip-172-31-9-33.fayson.com)
3.分發Parcel
4.主機檢查
5.部署用戶端
6.主機應用模闆,若沒有模闆,可以在cm中先建立主機模闆
7.啟動主機角色
3.建立角色并分組設定不同的參數
3.1建立角色組并配置設定主機
這裡的角色組是跟服務相關聯的,因為我們剛添加的節點是作為資料節點,節點上運作了HDFS的DataNode和YARN的NodeManager,是以,我們可以分别在HDFS服務和YARN服務中建立角色組,這裡以建立HDFS的角色組為例,其他服務的角色組建立方式相同。
1.首先我們建立HDFS的角色組,進入HDFS的配置頁面,點選‘角色組’
2.點選角色組,進入角色管理界面,然後點選“建立”
3.建立一個新的角色組
這裡可以看到我們剛建立的角色組
将剛剛新加入的主機移至新建立的角色組
已将新加入節點添加至datanode-low角色組
完後後,回到HDFS配置首頁,需要對新的角色組設定資料目錄,這個可以和default組保持一緻,然後儲存更改
4.配置datanode-low角色組的資料目錄
3.2角色組參數設定
我們假設對不同的角色組的資源配置設定做不同的設定,比如我們設定dfs.datanode.du.reserved參數,datanode-low分組設定為8G,然後儲存,重新開機HDFS即可。‘編輯單個值’的意思是,如果多個角色組中設定的值相同,則CM會合并顯示,點選‘編輯單個值’則可以展開每個角色組進行單獨編輯對應的内容。
點選“編輯單個值”,設定datanode-low配置為8G
3.3資料均衡操作
如果有資料節點加入叢集,需要對HDFS進行重新平衡操作,首先需要在HDFS元件中有Balancer角色執行個體,如果沒有,則必須添加添加一個Balancer角色執行個體
1.進入HDFS服務,點選“重新平衡”
2.點選“重新平衡”
3.執行完成
為天地立心,為生民立命,為往聖繼絕學,為萬世開太平。
溫馨提示:要看高清無碼套圖,請使用手機打開并單擊圖檔放大檢視。
推薦關注Hadoop實操,第一時間,分享更多Hadoop幹貨,歡迎轉發和分享。
原創文章,歡迎轉載,轉載請注明:轉載自微信公衆号Hadoop實操