天天看點

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

一 ,環境準備 :

1 ,安裝軟體 :

  1. 方式一 :下載下傳一個壓縮包,就可以了。
  2. 方式二 : yum 安裝,但是需要把源定位在 cdh。
  3. 方式三 : rpm 包安裝。
  4. 方式四 : 在 web 頁面點幾下就好。

2 ,兩個重要的網址 :

  1. CDH5.14.0

    http://archive.cloudera.com/cdh5/parcels/5.14.0/

  2. Cloudera Manager5.14.0:

    https://archive.cloudera.com/cm5/cm/5/

    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

3 ,得到 :

  1. 安裝包 :

    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1

    解釋 :el6 >> centos6

  2. 安裝包 :

    cloudera-manager-el6-cm5.14.0_x86_64.tar.gz

4 ,系統環境準備 :

  1. 硬體規劃 :

    node01 :10G

    node02 :2G

    node03 :2G

  2. 網絡配置

    1 ,vi /etc/sysconfig/network

    2 ,vi /etc/hosts

    3 ,我們的 IP 位址分别是

    192.168.72.141

    192.168.72.142

    192.168.72.143

  3. SSH免密鑰登入

    ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

    ssh-copy-id

  4. 防火牆關閉

    service iptables stop

    chkconfig iptables off

  5. SELINUX 關閉

    setenforce 0

    vi /etc/selinux/config (SELINUX=disabled)

  6. 安裝JDK配置環境變量
export JAVA_HOME=/usr/java/jdkXXX
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
           
  1. 安裝 NTP

    1 ,思路 : 1 台機器做時間伺服器,另外 2 台,每十分鐘,都跟這個機器同步時間

    2 ,三台電腦,安裝 ntp :yum -y install ntp

    3 ,配置時間伺服器 :vim /etc/ntp.conf

restrict 192.168.72.0 mask 255.255.255.0 nomodify notrap

# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst

server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
           

4 ,配置檔案 : vim /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.
SYNC_HWCLOCK=yes
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"
           

5 ,重新開機 ntpd : service ntpd restart

6 ,開機啟動 : chkconfig ntpd on

7 ,node02 , node03 配置時間同步 : crontab -e

*/10 * * * * /usr/sbin/ntpdate node01
           

8 ,測試 : date -s 完整日期時間(YYYY-MM-DD hh:mm[:ss]):修改日期、時間

在 node01 上修改一個時間:date -s 19:08:08

現在 node01,node02,node03 三台機器時間都不同了,過一會,看看他們三個會不會同步時間

檢視時間 : date

9 ,将 node01 調整為網絡時間一緻

ntpdate cn.pool.ntp.org

  1. 安裝配置 mysql :node01

    1 ,安裝 mysql :

    yum install -y mysql-server

    2 ,啟動 mysql :

    service mysqld start

    chkconfig mysqld on

    3 ,初始化設定 mysql :

    /usr/bin/mysql_secure_installation - 回車

    不輸入密碼 - 回車

    是否設定密碼 - y

    123456 - 回車

    123456 - 回車

    删除預設使用者嗎 - n

    是否禁止遠端登入 - n

    移除測試庫嗎 - n

    重新加載權限清單嗎 - y

    4 ,重新整理權限 :

    mysql -uroot -p

    123456

    use mysql;

    delete from user;

    GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;

    flush privileges;

  2. 下載下傳第三方依賴包

    yum install -y chkconfig

    yum install -y python

    yum install -y bind-utils

    yum install -y psmisc

    yum install -y libxslt

    yum install -y zlib

    yum install -y sqlite

    yum install -y cyrus-sasl-plain

    yum install -y cyrus-sasl-gssapi

    yum install -y fuse

    yum install -y fuse-libs

    yum install -y redhat-lsb

二 ,clouderaManager 安裝 : 目錄不要改

1 ,上傳 cm 安裝包 : 到 node01

  1. 包名 :cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
  2. 到哪個目錄 :/export/softwares

2 ,解壓 :node01

cd /export/softwares

tar -xzvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt

3 ,配置主節點 : server

cd /opt/cm-5.14.0/etc/cloudera-scm-agent

vim config.ini

server_host=node01
           

4 ,建立使用者 : 3 個節點

  1. 三個節點都要做
  2. 目的 : 限定權限
  3. 指令 :
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
           

5 ,建立資源庫的目錄 : 3 個節點

  1. Server 節點 : node01

    mkdir -p /opt/cloudera/parcel-repo

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

  2. Agent 節點 : node01 , node02 , node03

    mkdir -p /opt/cloudera/parcels

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6 ,上傳 mysql 驅動 : 3 個節點

cd /usr/share/java

上傳 :mysql-connector-java-5.1.26-bin.jar

改名字 : mv mysql-connector-java-5.1.26-bin.jar mysql-connector-java.jar

7 ,mysql 建使用者 : node01

mysql -uroot -p

123456

grant all on . to ‘temp’@’%’ identified by ‘123456’ with grant option;

exit;

意義 : 建使用者 temp ,密碼 123456 ,給他所有權限

8 ,執行 cdh 腳本 : 初始化 mysql 的 cdh 對應庫 :

  1. cd /opt/cm-5.14.0/share/cmf/schema
  2. 腳本 :
./scm_prepare_database.sh mysql temp -h node01 -utemp -p123456 --scm-host node01 scm scm scm
           
  1. 意義 : 格式/資料庫類型、資料庫、資料庫伺服器、使用者名、密碼、cm server伺服器

9 ,下載下傳 : manifest.json

http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json

10 ,制作 cdh 本地源 : node01

  1. cd /opt/cloudera/parcel-repo
  2. 上傳 :

    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1

    manifest.json

    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  3. 改名字 : 把 sha1 改成 sha
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha
           

11 ,分發 : node01

cd /opt

scp -r cloudera/ [email protected]: P W D s c p − r c l o u d e r a / r o o t @ n o d e 02 : PWD scp -r cloudera/ [email protected]: PWDscp−rcloudera/root@node02:PWD

scp -r cm-5.14.0/ [email protected]: P W D s c p − r c m − 5.14.0 / r o o t @ n o d e 03 : PWD scp -r cm-5.14.0/ [email protected]: PWDscp−rcm−5.14.0/root@node03:PWD

12 ,啟動 CM Server : node01

cd /opt/cm-5.14.0/etc/init.d

./cloudera-scm-server start

13 ,啟動 agent : node01 , node02 , node03

cd /opt/cm-5.14.0/etc/init.d

./cloudera-scm-agent start

14 ,啟動成功的标志 :

cd /opt/cm-5.14.0/log/cloudera-scm-server

tail -F cloudera-scm-server.log

這個檔案不再抖動了,就說明啟動成功了。

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

15 ,通路 ui 界面 :

  1. 網址 :

    http://node01:7180

  2. 使用者名 / 密碼

    admin / admin

  3. 勾選是的,繼續
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  4. 選擇免費版,繼續 : 中小企業,可以使用免費版
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  5. 繼續

16 ,可以添加 agent :

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

17 ,可以檢視目前管理的 agent :

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

18 ,叢集管理理論 :

  1. 假設我們一共有 1000 台機器。
  2. 可以拿出 500 台機器作為叢集 1 。
  3. 再拿出另外 500 台作為叢集 2 。
  4. 我們現在已經安裝好了 3 個 agent ,是以不需要手動添加。
  5. 但是,如果我們機器太多,就需要在這裡手動添加,因為,每台機器都安裝一次 agent 太累了。

19 ,重新開機的代碼如下 :

  1. 關閉 CM Server : node01

    cd /opt/cm-5.14.0/etc/init.d

    ./cloudera-scm-server stop

  2. 關閉 agent : node01 , node02 , node03

    cd /opt/cm-5.14.0/etc/init.d

    ./cloudera-scm-agent stop

  3. 啟動 CM Server : node01

    cd /opt/cm-5.14.0/etc/init.d

    ./cloudera-scm-server start

  4. 啟動 agent : node01 , node02 , node03

    cd /opt/cm-5.14.0/etc/init.d

    ./cloudera-scm-agent start

20 , 選擇版本 :

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

21 ,繼續 :

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

22 ,看到這個 :

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

23 ,等着 :

server 正在給 agent 傳資料,都傳好了,就看到這樣的

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

24 ,繼續 :

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改

25 ,修改配置 : 檢測的問題,我們要手動修改

2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  1. 三台機器同時做 :

    echo 0 > /proc/sys/vm/swappiness

  2. 重新檢測 :
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  3. 這個問題改好了 :
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  4. 三台機器修改下一個問題 :

    echo never > /sys/kernel/mm/transparent_hugepage/defrag

    echo never > /sys/kernel/mm/transparent_hugepage/enabled

    vim /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
           
  1. 重新檢測 : 結果,全是對号,即可
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  2. 完成

26 ,安裝軟體 :

  1. 自定義服務 :
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  2. 選擇要安裝軟體 ( 千萬不要點 mr1 ,我們要安裝的是 yarn )
  3. 選擇 : hdfs , yarn ,zookeeper ,繼續
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  4. hdfs 規劃 :
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  5. yarn 規劃 : 不動
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  6. zookeeper 規劃 :
    2 ,clouderaManager 詳情,CM 安裝,hdfs,yarn ,zk一 ,環境準備 :二 ,clouderaManager 安裝 : 目錄不要改
  7. 繼續
  8. 繼續
  9. 等着
  10. 繼續
  11. 完成