天天看點

如何在CDH叢集中加入異構裝置

溫馨提示:要看高清無碼套圖,請使用手機打開并單擊圖檔放大檢視。

1.文檔編寫目的

在部署CDH叢集或者擴容時,會遇到伺服器配置不同(CPU、Memory、DISK等)的情況,那我們應該如何加入異構裝置,并進行差異化的配置呢?本篇文章主要講述如何使用CM通過角色組對異構裝置進行分組并對角色組進行參數配置。

  • 内容概述

1.添加異構裝置

2.建立角色組并配置設定主機

3.配置角色組參數

  • 測試環境

1.CM和CDH版本為5.13.0

  • 前置條件

1.待加入的異構裝置作業系統版本與叢集中叢集的作業系統版本一緻

2.待加入的異構裝置已完成CDH前置條件準備

2.添加異構裝置

1.使用CM的“向叢集添加新主機”功能,添加異構裝置到叢集

如何在CDH叢集中加入異構裝置

2.向叢集添加新主機(ip-172-31-9-33.fayson.com)

如何在CDH叢集中加入異構裝置

3.分發Parcel

如何在CDH叢集中加入異構裝置

4.主機檢查

如何在CDH叢集中加入異構裝置

5.部署用戶端

如何在CDH叢集中加入異構裝置

6.主機應用模闆,若沒有模闆,可以在cm中先建立主機模闆

如何在CDH叢集中加入異構裝置
如何在CDH叢集中加入異構裝置

7.啟動主機角色

如何在CDH叢集中加入異構裝置
如何在CDH叢集中加入異構裝置

3.建立角色并分組設定不同的參數

3.1建立角色組并配置設定主機

這裡的角色組是跟服務相關聯的,因為我們剛添加的節點是作為資料節點,節點上運作了HDFS的DataNode和YARN的NodeManager,是以,我們可以分别在HDFS服務和YARN服務中建立角色組,這裡以建立HDFS的角色組為例,其他服務的角色組建立方式相同。

1.首先我們建立HDFS的角色組,進入HDFS的配置頁面,點選‘角色組’

如何在CDH叢集中加入異構裝置

2.點選角色組,進入角色管理界面,然後點選“建立”

如何在CDH叢集中加入異構裝置

3.建立一個新的角色組

如何在CDH叢集中加入異構裝置

這裡可以看到我們剛建立的角色組

如何在CDH叢集中加入異構裝置

将剛剛新加入的主機移至新建立的角色組

如何在CDH叢集中加入異構裝置
如何在CDH叢集中加入異構裝置

已将新加入節點添加至datanode-low角色組

如何在CDH叢集中加入異構裝置

完後後,回到HDFS配置首頁,需要對新的角色組設定資料目錄,這個可以和default組保持一緻,然後儲存更改

4.配置datanode-low角色組的資料目錄

如何在CDH叢集中加入異構裝置

3.2角色組參數設定

我們假設對不同的角色組的資源配置設定做不同的設定,比如我們設定dfs.datanode.du.reserved參數,datanode-low分組設定為8G,然後儲存,重新開機HDFS即可。‘編輯單個值’的意思是,如果多個角色組中設定的值相同,則CM會合并顯示,點選‘編輯單個值’則可以展開每個角色組進行單獨編輯對應的内容。

如何在CDH叢集中加入異構裝置

點選“編輯單個值”,設定datanode-low配置為8G

如何在CDH叢集中加入異構裝置

3.3資料均衡操作

如果有資料節點加入叢集,需要對HDFS進行重新平衡操作,首先需要在HDFS元件中有Balancer角色執行個體,如果沒有,則必須添加添加一個Balancer角色執行個體

1.進入HDFS服務,點選“重新平衡”

如何在CDH叢集中加入異構裝置

2.點選“重新平衡”

如何在CDH叢集中加入異構裝置

3.執行完成

如何在CDH叢集中加入異構裝置

為天地立心,為生民立命,為往聖繼絕學,為萬世開太平。

溫馨提示:要看高清無碼套圖,請使用手機打開并單擊圖檔放大檢視。

推薦關注Hadoop實操,第一時間,分享更多Hadoop幹貨,歡迎轉發和分享。

如何在CDH叢集中加入異構裝置
原創文章,歡迎轉載,轉載請注明:轉載自微信公衆号Hadoop實操