天天看点

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

一 ,环境准备 :

1 ,安装软件 :

  1. 方式一 :下载一个压缩包,就可以了。
  2. 方式二 : yum 安装,但是需要把源定位在 cdh。
  3. 方式三 : rpm 包安装。
  4. 方式四 : 在 web 页面点几下就好。

2 ,两个重要的网址 :

  1. CDH5.14.0

    http://archive.cloudera.com/cdh5/parcels/5.14.0/

  2. Cloudera Manager5.14.0:

    https://archive.cloudera.com/cm5/cm/5/

    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

3 ,得到 :

  1. 安装包 :

    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1

    解释 :el6 >> centos6

  2. 安装包 :

    cloudera-manager-el6-cm5.14.0_x86_64.tar.gz

4 ,系统环境准备 :

  1. 硬件规划 :

    node01 :10G

    node02 :2G

    node03 :2G

  2. 网络配置

    1 ,vi /etc/sysconfig/network

    2 ,vi /etc/hosts

    3 ,我们的 IP 地址分别是

    192.168.72.141

    192.168.72.142

    192.168.72.143

  3. SSH免密钥登录

    ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

    ssh-copy-id

  4. 防火墙关闭

    service iptables stop

    chkconfig iptables off

  5. SELINUX 关闭

    setenforce 0

    vi /etc/selinux/config (SELINUX=disabled)

  6. 安装JDK配置环境变量
export JAVA_HOME=/usr/java/jdkXXX
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
           
  1. 安装 NTP

    1 ,思路 : 1 台机器做时间服务器,另外 2 台,每十分钟,都跟这个机器同步时间

    2 ,三台电脑,安装 ntp :yum -y install ntp

    3 ,配置时间服务器 :vim /etc/ntp.conf

restrict 192.168.72.0 mask 255.255.255.0 nomodify notrap

# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst

server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
           

4 ,配置文件 : vim /etc/sysconfig/ntpd

# Drop root to id 'ntp:ntp' by default.
SYNC_HWCLOCK=yes
OPTIONS="-u ntp:ntp -p /var/run/ntpd.pid -g"
           

5 ,重启 ntpd : service ntpd restart

6 ,开机启动 : chkconfig ntpd on

7 ,node02 , node03 配置时间同步 : crontab -e

*/10 * * * * /usr/sbin/ntpdate node01
           

8 ,测试 : date -s 完整日期时间(YYYY-MM-DD hh:mm[:ss]):修改日期、时间

在 node01 上修改一个时间:date -s 19:08:08

现在 node01,node02,node03 三台机器时间都不同了,过一会,看看他们三个会不会同步时间

查看时间 : date

9 ,将 node01 调整为网络时间一致

ntpdate cn.pool.ntp.org

  1. 安装配置 mysql :node01

    1 ,安装 mysql :

    yum install -y mysql-server

    2 ,启动 mysql :

    service mysqld start

    chkconfig mysqld on

    3 ,初始化设置 mysql :

    /usr/bin/mysql_secure_installation - 回车

    不输入密码 - 回车

    是否设置密码 - y

    123456 - 回车

    123456 - 回车

    删除默认用户吗 - n

    是否禁止远程登录 - n

    移除测试库吗 - n

    重新加载权限列表吗 - y

    4 ,刷新权限 :

    mysql -uroot -p

    123456

    use mysql;

    delete from user;

    GRANT ALL PRIVILEGES ON . TO ‘root’@’%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;

    flush privileges;

  2. 下载第三方依赖包

    yum install -y chkconfig

    yum install -y python

    yum install -y bind-utils

    yum install -y psmisc

    yum install -y libxslt

    yum install -y zlib

    yum install -y sqlite

    yum install -y cyrus-sasl-plain

    yum install -y cyrus-sasl-gssapi

    yum install -y fuse

    yum install -y fuse-libs

    yum install -y redhat-lsb

二 ,clouderaManager 安装 : 目录不要改

1 ,上传 cm 安装包 : 到 node01

  1. 包名 :cloudera-manager-el6-cm5.14.0_x86_64.tar.gz
  2. 到哪个目录 :/export/softwares

2 ,解压 :node01

cd /export/softwares

tar -xzvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt

3 ,配置主节点 : server

cd /opt/cm-5.14.0/etc/cloudera-scm-agent

vim config.ini

server_host=node01
           

4 ,创建用户 : 3 个节点

  1. 三个节点都要做
  2. 目的 : 限定权限
  3. 命令 :
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
           

5 ,创建资源库的目录 : 3 个节点

  1. Server 节点 : node01

    mkdir -p /opt/cloudera/parcel-repo

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

  2. Agent 节点 : node01 , node02 , node03

    mkdir -p /opt/cloudera/parcels

    chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6 ,上传 mysql 驱动 : 3 个节点

cd /usr/share/java

上传 :mysql-connector-java-5.1.26-bin.jar

改名字 : mv mysql-connector-java-5.1.26-bin.jar mysql-connector-java.jar

7 ,mysql 建用户 : node01

mysql -uroot -p

123456

grant all on . to ‘temp’@’%’ identified by ‘123456’ with grant option;

exit;

意义 : 建用户 temp ,密码 123456 ,给他所有权限

8 ,执行 cdh 脚本 : 初始化 mysql 的 cdh 对应库 :

  1. cd /opt/cm-5.14.0/share/cmf/schema
  2. 脚本 :
./scm_prepare_database.sh mysql temp -h node01 -utemp -p123456 --scm-host node01 scm scm scm
           
  1. 意义 : 格式/数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

9 ,下载 : manifest.json

http://archive.cloudera.com/cdh5/parcels/5.14.0/manifest.json

10 ,制作 cdh 本地源 : node01

  1. cd /opt/cloudera/parcel-repo
  2. 上传 :

    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel

    CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1

    manifest.json

    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  3. 改名字 : 把 sha1 改成 sha
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha
           

11 ,分发 : node01

cd /opt

scp -r cloudera/ [email protected]: P W D s c p − r c l o u d e r a / r o o t @ n o d e 02 : PWD scp -r cloudera/ [email protected]: PWDscp−rcloudera/root@node02:PWD

scp -r cm-5.14.0/ [email protected]: P W D s c p − r c m − 5.14.0 / r o o t @ n o d e 03 : PWD scp -r cm-5.14.0/ [email protected]: PWDscp−rcm−5.14.0/root@node03:PWD

12 ,启动 CM Server : node01

cd /opt/cm-5.14.0/etc/init.d

./cloudera-scm-server start

13 ,启动 agent : node01 , node02 , node03

cd /opt/cm-5.14.0/etc/init.d

./cloudera-scm-agent start

14 ,启动成功的标志 :

cd /opt/cm-5.14.0/log/cloudera-scm-server

tail -F cloudera-scm-server.log

这个文件不再抖动了,就说明启动成功了。

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

15 ,访问 ui 界面 :

  1. 网址 :

    http://node01:7180

  2. 用户名 / 密码

    admin / admin

  3. 勾选是的,继续
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  4. 选择免费版,继续 : 中小企业,可以使用免费版
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  5. 继续

16 ,可以添加 agent :

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

17 ,可以查看当前管理的 agent :

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

18 ,集群管理理论 :

  1. 假设我们一共有 1000 台机器。
  2. 可以拿出 500 台机器作为集群 1 。
  3. 再拿出另外 500 台作为集群 2 。
  4. 我们现在已经安装好了 3 个 agent ,所以不需要手动添加。
  5. 但是,如果我们机器太多,就需要在这里手动添加,因为,每台机器都安装一次 agent 太累了。

19 ,重启的代码如下 :

  1. 关闭 CM Server : node01

    cd /opt/cm-5.14.0/etc/init.d

    ./cloudera-scm-server stop

  2. 关闭 agent : node01 , node02 , node03

    cd /opt/cm-5.14.0/etc/init.d

    ./cloudera-scm-agent stop

  3. 启动 CM Server : node01

    cd /opt/cm-5.14.0/etc/init.d

    ./cloudera-scm-server start

  4. 启动 agent : node01 , node02 , node03

    cd /opt/cm-5.14.0/etc/init.d

    ./cloudera-scm-agent start

20 , 选择版本 :

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

21 ,继续 :

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

22 ,看到这个 :

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

23 ,等着 :

server 正在给 agent 传数据,都传好了,就看到这样的

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

24 ,继续 :

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改

25 ,修改配置 : 检测的问题,我们要手动修改

2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  1. 三台机器同时做 :

    echo 0 > /proc/sys/vm/swappiness

  2. 重新检测 :
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  3. 这个问题改好了 :
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  4. 三台机器修改下一个问题 :

    echo never > /sys/kernel/mm/transparent_hugepage/defrag

    echo never > /sys/kernel/mm/transparent_hugepage/enabled

    vim /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
           
  1. 重新检测 : 结果,全是对号,即可
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  2. 完成

26 ,安装软件 :

  1. 自定义服务 :
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  2. 选择要安装软件 ( 千万不要点 mr1 ,我们要安装的是 yarn )
  3. 选择 : hdfs , yarn ,zookeeper ,继续
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  4. hdfs 规划 :
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  5. yarn 规划 : 不动
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  6. zookeeper 规划 :
    2 ,clouderaManager 详情,CM 安装,hdfs,yarn ,zk一 ,环境准备 :二 ,clouderaManager 安装 : 目录不要改
  7. 继续
  8. 继续
  9. 等着
  10. 继续
  11. 完成