一、Cloudera Manager/CDH5
1、關于cloudera manager和CDH是什麼，這裡不做詳細介紹了。有官網和百科介紹。
附上官網位址：cloudera manager
2、官網的安裝指南
官方文檔提供了三種安裝方式：線上自動安裝/手動安裝包安裝/手動使用cloudera manager管理安裝
此處使用第三種方式安裝hadoop叢集。
二、環境規劃
1、系統：CentOS 6.4_x86
master：4G記憶體，硬碟盡量大容量
slave1：2G記憶體，硬碟盡量大容量
slave2：2G記憶體，硬碟盡量大容量
2、Cloudera Manager 5.3.3
3、CDH 5.3.3
安裝包下載下傳：
- Cloudera Manager 5.3.3：http://archive-primary.cloudera.com/cm5/cm/5/
- CDH 5.5.5：http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/
下載下傳軟體包：
- CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel
- CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha1
- manifest.json
三、系統環境準備工作
- 此次執行權限均為root使用者
- 所有的機器都必須ssh互信模式
- 修改主機名使用hosts檔案或者DNS伺服器
- 關閉iptables和selinux
- 解除安裝系統自帶的openjdk,安裝oracle的jdk
- master節點安裝mysql
- 所有節點的時間必須同步(ntp伺服器或其他方法)
-
修改所有節點的核心參數
i. echo 0 > /proc/sys/vm/swappiness
ii.echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
四、正式開始安裝
1、cloudera manager預設的目錄是在/opt下，解壓到/opt目錄下。
# tar xf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz -C /opt/
# ls /opt/
cloudera cm-5.3.3
#
# 安裝mysql-connector-java
# yum -y install mysql-connector-java 2、初始化資料庫
# /opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
# mysql -uroot -p123456 -e "show databases;" 檢視下cm資料庫是否建立成功 3、複制資料到其他節點
# 修改配置檔案server_host為master節點的主機名
# grep server_host /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini
server_host=master
# scp -rp /opt/cm-5.3.3 slave1:/opt/
# scp -rp /opt/cm-5.3.3 slave2:/opt/
#
# 每個節點建立系統使用者
# useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "cloudera scm user" cloudera-scm 4、資料庫的配置
# hive
# create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# active monitor
# create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
# 授權master主機
# grant all on *.* to 'root'@'master' identified by 'PASSWD'; 5、準備parcels安裝包到/opt/cloudera/parcel-repo/
# ls /opt/cloudera/parcel-repo/
CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha manifest.json
# 注意：CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha下載下傳後的檔案重命名的
#
# 啟動master節點的server和agent腳本
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start
# server端口啟動較慢
#
# 啟動其他所有節點的agent腳本
# /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start 五、CDH 5安裝配置
1、通路http://master-ip:7180端口開始安裝
登陸名:admin 密碼:admin
2、選擇一個版本進行安裝，此處選擇第一個免費版。然後下一步-->下一步
3、選中所有主機：
4、如果配置正确，會出現如下界面
5、然後繼續下一步,由于我們已經下載下傳了離線包，是以下載下傳是很快就能完成的
6、主機檢測，檢測主機是否符合安裝要求，符合要求後會全部通過，否則請按照要求設定
7、然後選擇需要安裝的軟體包，可以全選或自定義，也可以選擇內建了某一個元件功能的軟體包來安裝
8、角色配置設定，此處預設，可以按需調整
9、資料庫測試:
10、稽核更改參數，可以使用預設，也可以按需更改
11、啟動正常的安裝配置了，等待安裝完成後再次通路首頁即可。
12、完成後的登陸界面
由于主機性能較低，資料延遲很大，查詢經常無法顯示。而且由于此處的磁盤空間不足，是以有很多警告資訊。到此安裝已全部完成。
六、其他問題說明
oozie的web界面的開啟：
cloudera的文檔中有說明配置oozie：
安裝這個操作即可：
# mv ext-2.2.zip /var/lib/oozie/
# cd /var/lib/oozie
# unzip ext-2.2.zip 重新整理界面：
hadoop2.x版本更新了一些新功能，支援HDFS的高可用等。cloudera manager管理界面可以直接操作等這一系列的功能，還是很友善的。
在叢集裡的HDFS界面的右上角有操作選項欄：
點選後根據提示就能正常的配置了。管理界面添加移除叢集中的主機也是非常友善的，具體的操作就不一一示範了。
七、Hadoop測試程式
# 計算pi值
# sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100
...
Job Finished in 126.439 seconds
Estimated value of Pi is 3.14800000000000000000
# 可以看到執行結果 可以在YARN的web界面看到詳細job的資訊
還有很多測試程式可以運作測試。這裡就不一一示範了。
另外，這種安裝方式雖然快捷友善，但是不利于對整體的了解，建議還是使用下載下傳安裝包的方式安裝，配置檔案等都是需要手動編寫的，對于了解比較深刻。