Hadoop - 企業級大資料管理平台CDH(小技巧一)

附上:

喵了個咪的部落格:

w-blog.cn cloudera官網: https://www.cloudera.com/ 官方文檔位址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 磁盤擴容磁盤遷移

對于磁盤增加減少重新配置設定都是在大資料裡面屢見不鮮的内容,當磁盤不夠用或者磁盤損壞的時候我們怎麼來替換磁盤和增加磁盤就成了一個很重要的事情了,我們先通過cm控制端進入到其中一個datanode管理頁面

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-hrRaZWhr-1597140202369)(H

http://pic.w-blog.cn/EE38D42F-6B31-459A-95AB-3FCE31026BEE.png)]

增加或删除一個磁盤

然後在HDFS頁面

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-sAH1NQKU-1597140202374)(

http://pic.w-blog.cn/81981535-306A-48D5-8ED1-FCB78BC637F6.png)]

二, HBASE-Thrift2

CDH在管理平台中HBASE開啟的HBASE-Thrift是使用的Thrift1,Thrift2相對Thrift1對開發更加友好,可以通過如下方式開啟Thrift2

/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091           

推薦Supervisor守護程序的方式開啟

喵咪Liunx(1)計劃任務隊列腳本背景程序Supervisor幫你搞定 - 喵了個咪部落格空間 - 開源中國

;你需要啟動的程序給個名字
[program:thrift2]
;你需要執行的語句
command=/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091
;運作程式的使用者
user=root           

三, 監控報警重新開機

對于cm-service和cm-agent是沒有守護程序的,如果挂掉了也無法得知具體情況,這裡就要推薦一波筆者之前的一個工具了程序監控

喵咪Liunx(4)Monit程序監控 - 喵了個咪部落格空間 - 開源中國

cm-service

check process cm-service with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-server.pid  
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-server start"            

cm-agent

check process cm-agent with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-agent/cloudera-scm-agent.pid 
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-agent start"           

PS:也以配置郵件通知具體參考之前的博文