一 ,環境準備 :
1 ,安裝軟體 :
- 方式一 :下載下傳一個壓縮包,就可以了。
- 方式二 : yum 安裝,但是需要把源定位在 cdh。
- 方式三 : rpm 包安裝。
- 方式四 : 在 web 頁面點幾下就好。
2 ,兩個重要的網址 :
-
CDH5.14.0
http://archive.cloudera.com/cdh5/parcels/5.14.0/
-
Cloudera Manager5.14.0:
https://archive.cloudera.com/cm5/cm/5/
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
3 ,得到 :
-
安裝包 :
CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
解釋 :el6 >> centos6
-
安裝包 :
cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
4 ,系統環境準備 :
-
硬體規劃 :
node01 :10G
node02 :2G
node03 :2G
-
網絡配置
1 ,vi /etc/sysconfig/network
2 ,vi /etc/hosts
3 ,我們的 IP 位址分别是
192.168.72.141
192.168.72.142
192.168.72.143
-
SSH免密鑰登入
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
ssh-copy-id
-
防火牆關閉
service iptables stop
chkconfig iptables off
-
SELINUX 關閉
setenforce 0
vi /etc/selinux/config (SELINUX=disabled)
- 安裝JDK配置環境變量
export JAVA_HOME=/usr/java/jdkXXX
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
-
安裝 NTP
1 ,思路 : 1 台機器做時間伺服器,另外 2 台,每十分鐘,都跟這個機器同步時間
2 ,三台電腦,安裝 ntp :yum -y install ntp
3 ,配置時間伺服器 :vim /etc/ntp.conf
restrict 192.168.72.0 mask 255.255.255.0 nomodify notrap
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
4 ,配置檔案 : vim /etc/sysconfig/ntpd
# Drop root to id 'ntp:ntp' by default.
SYNC_HWCLOCK=yes
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"
5 ,重新開機 ntpd : service ntpd restart
6 ,開機啟動 : chkconfig ntpd on
7 ,node02 , node03 配置時間同步 : crontab -e
*/10 * * * * /usr/sbin/ntpdate node01
8 ,測試 : date -s 完整日期時間(YYYY-MM-DD hh:mm[:ss]):修改日期、時間
在 node01 上修改一個時間:date -s 19:08:08
現在 node01,node02,node03 三台機器時間都不同了,過一會,看看他們三個會不會同步時間
檢視時間 : date
9 ,将 node01 調整為網絡時間一緻
ntpdate cn.pool.ntp.org
-
安裝配置 mysql :node01
1 ,安裝 mysql :
yum install -y mysql-server
2 ,啟動 mysql :
service mysqld start
chkconfig mysqld on
3 ,初始化設定 mysql :
/usr/bin/mysql_secure_installation - 回車
不輸入密碼 - 回車
是否設定密碼 - y
123456 - 回車
123456 - 回車
删除預設使用者嗎 - n
是否禁止遠端登入 - n
移除測試庫嗎 - n
重新加載權限清單嗎 - y
4 ,重新整理權限 :
mysql -uroot -p
123456
use mysql;
delete from user;
GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
flush privileges;
-
下載下傳第三方依賴包
yum install -y chkconfig
yum install -y python
yum install -y bind-utils
yum install -y psmisc
yum install -y libxslt
yum install -y zlib
yum install -y sqlite
yum install -y cyrus-sasl-plain
yum install -y cyrus-sasl-gssapi
yum install -y fuse
yum install -y fuse-libs
yum install -y redhat-lsb
二 ,clouderaManager 安裝 : 目錄不要改
1 ,上傳 cm 安裝包 : 到 node01
- 包名 :cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
- 到哪個目錄 :/export/softwares
2 ,解壓 :node01
cd /export/softwares
tar -xzvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt
3 ,配置主節點 : server
cd /opt/cm-5.14.0/etc/cloudera-scm-agent
vim config.ini
server_host=node01
4 ,建立使用者 : 3 個節點
- 三個節點都要做
- 目的 : 限定權限
- 指令 :
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
5 ,建立資源庫的目錄 : 3 個節點
-
Server 節點 : node01
mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
-
Agent 節點 : node01 , node02 , node03
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
6 ,上傳 mysql 驅動 : 3 個節點
cd /usr/share/java
上傳 :mysql-connector-java-5.1.26-bin.jar
改名字 : mv mysql-connector-java-5.1.26-bin.jar mysql-connector-java.jar
7 ,mysql 建使用者 : node01
mysql -uroot -p
123456
grant all on . to ‘temp’@’%’ identified by ‘123456’ with grant option;
exit;
意義 : 建使用者 temp ,密碼 123456 ,給他所有權限
8 ,執行 cdh 腳本 : 初始化 mysql 的 cdh 對應庫 :
- cd /opt/cm-5.14.0/share/cmf/schema
- 腳本 :
./scm_prepare_database.sh mysql temp -h node01 -utemp -p123456 --scm-host node01 scm scm scm
- 意義 : 格式/資料庫類型、資料庫、資料庫伺服器、使用者名、密碼、cm server伺服器
9 ,下載下傳 : manifest.json
http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json
10 ,制作 cdh 本地源 : node01
- cd /opt/cloudera/parcel-repo
-
上傳 :
CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel
CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1
manifest.json
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - 改名字 : 把 sha1 改成 sha
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha
11 ,分發 : node01
cd /opt
scp -r cloudera/ [email protected]: P W D s c p − r c l o u d e r a / r o o t @ n o d e 02 : PWD scp -r cloudera/ [email protected]: PWDscp−rcloudera/root@node02:PWD
scp -r cm-5.14.0/ [email protected]: P W D s c p − r c m − 5.14.0 / r o o t @ n o d e 03 : PWD scp -r cm-5.14.0/ [email protected]: PWDscp−rcm−5.14.0/root@node03:PWD
12 ,啟動 CM Server : node01
cd /opt/cm-5.14.0/etc/init.d
./cloudera-scm-server start
13 ,啟動 agent : node01 , node02 , node03
cd /opt/cm-5.14.0/etc/init.d
./cloudera-scm-agent start
14 ,啟動成功的标志 :
cd /opt/cm-5.14.0/log/cloudera-scm-server
tail -F cloudera-scm-server.log
這個檔案不再抖動了,就說明啟動成功了。
15 ,通路 ui 界面 :
-
網址 :
http://node01:7180
-
使用者名 / 密碼
admin / admin
- 勾選是的,繼續
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - 選擇免費版,繼續 : 中小企業,可以使用免費版
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - 繼續
16 ,可以添加 agent :
17 ,可以檢視目前管理的 agent :
18 ,叢集管理理論 :
- 假設我們一共有 1000 台機器。
- 可以拿出 500 台機器作為叢集 1 。
- 再拿出另外 500 台作為叢集 2 。
- 我們現在已經安裝好了 3 個 agent ,是以不需要手動添加。
- 但是,如果我們機器太多,就需要在這裡手動添加,因為,每台機器都安裝一次 agent 太累了。
19 ,重新開機的代碼如下 :
-
關閉 CM Server : node01
cd /opt/cm-5.14.0/etc/init.d
./cloudera-scm-server stop
-
關閉 agent : node01 , node02 , node03
cd /opt/cm-5.14.0/etc/init.d
./cloudera-scm-agent stop
-
啟動 CM Server : node01
cd /opt/cm-5.14.0/etc/init.d
./cloudera-scm-server start
-
啟動 agent : node01 , node02 , node03
cd /opt/cm-5.14.0/etc/init.d
./cloudera-scm-agent start
20 , 選擇版本 :
21 ,繼續 :
22 ,看到這個 :
23 ,等着 :
server 正在給 agent 傳資料,都傳好了,就看到這樣的
24 ,繼續 :
25 ,修改配置 : 檢測的問題,我們要手動修改
-
三台機器同時做 :
echo 0 > /proc/sys/vm/swappiness
- 重新檢測 :
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - 這個問題改好了 :
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 -
三台機器修改下一個問題 :
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
- 重新檢測 : 結果,全是對号,即可
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - 完成
26 ,安裝軟體 :
- 自定義服務 :
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - 選擇要安裝軟體 ( 千萬不要點 mr1 ,我們要安裝的是 yarn )
- 選擇 : hdfs , yarn ,zookeeper ,繼續
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - hdfs 規劃 :
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - yarn 規劃 : 不動
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - zookeeper 規劃 :
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改 - 繼續
- 繼續
- 等着
- 繼續
- 完成