Hadoop - 企業級大資料管理平台CDH(安裝Hadoop元件)

當我們已經把cm-service和cm-agent安裝完成之後,接下來我們就要到最重要的部分了,安裝Hadoop元件

附上:

喵了個咪的部落格:

w-blog.cn cloudera官網: https://www.cloudera.com/ 官方文檔位址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 主機agent安裝配置

接着上篇文章的頁面點選下一步:

填入主機的名稱或在已托管主機選擇一下主機

cm
master-1
master-2
slave-1
slave-2
slave-3           

下一步選擇我們之前下載下傳好的parcel

等待系統自動分發

完成之後在進行下一步

檢查叢集正确性

以上的幾個提示不解決也可以,為了美觀我們還是處理掉上面的問題

使用者和使用者組

useradd cloudera-scm           

swappiness

echo 10 > /proc/sys/vm/swappiness           

透明頁面

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled           

點選頁面頭部的重新運作,我們就得到一個幹淨的主機檢查了

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-B5UAD70j-1597140199808)(

http://pic.w-blog.cn/5D699AA0-1393-4AFB-9EF4-C626A95B9E49.png)]

二, 大資料元件安裝

主要元件分布

cm           cloudManageService   oozie  HUE
master-1     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore  
master-2     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore 
slave-1      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-2      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-3      Zookeeper  DataNode  HbaseRegion  NodeManger           

選擇建立叢集:

勾選我們需要的元件

對元件中的各個執行個體修改安裝的主機執行個體

PS:如果大家發現安裝完成之後有元件挂掉,并且不能解決可以嘗試減少安裝的元件數量,比如oozie和hue可以在後面安裝,先安裝好核心元件

資料庫配置(先去MYSQL建立好對應的資料庫)

配置修改(先使用預設配置)

開始安裝運作元件

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-1QoIlioN-1597140199814)(

http://pic.w-blog.cn/8FD5151B-4195-440C-9D08-8B611E8EAD9C.png)]

愉快的開始使用了

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-64SlO1LF-1597140199816)(

http://pic.w-blog.cn/9594AF75-979B-4E61-8CC5-538480AA01AE.png)]

三 , HUE load balancer 啟動失敗問題解決

需要先安裝一下下面兩個包之後在重新開機

yum install httpd mod_ssl           

[外鍊圖檔轉存失敗,源站可能有防盜鍊機制,建議将圖檔儲存下來直接上傳(img-zEaIryQ9-1597140199817)(

http://pic.w-blog.cn/9594AF75-979B-4E61-8CC5-538480AA01AE%202.png)]