天天看点

Cloudera Manager CDH5.6安装部署

CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。

Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

操作系统:CentOS 6.5 x64 (至少内存2G以上)

Cloudera Manager:5.6.1

CDH: 5.6.1

#安装说明

相关安装包下载:

Cloudera Manager

地址:http://archive.cloudera.com/cm5/cm/5/

CDH安装包

地址:http://archive.cloudera.com/cdh5/parcels

CentOS7,下载的parcels包及manifest文件对应的版本为e17:

Ps:CENTOS6.X,下载el6

JDBC

https://dev.mysql.com/downloads/connector/j/

mysql-connector-java-5.1.46.tar.gz

Ps : JDBC目前已经有6.x,但与CDH 5.x存在不兼容.

注意:所有的安装包应注意兼容性。安装前一定要注意自己的系统与软件的版本兼容,否则又得失败重来!

安装包总览:

cloudera-manager-el6-cm5.6.1_x86_64.tar.gz

CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha

CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1

manifest.json

mysql-connector-java-5.1.46.tar.gz

1.下载jdbc的jar包

Cloudera Manager CDH5.6安装部署

2.下载cloudera manager

可以在http://archive.cloudera.com/cm5/cm/5/上选择合适的版本点击下载,不过本人习惯复制链接地址用wget命令下载

Cloudera Manager CDH5.6安装部署
[[email protected] ~]# wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.6.1_x86_64.tar.gz
           

3.CDH安装包下载

http://archive.cloudera.com/cdh5/parcels/5.6.1.3/

Cloudera Manager CDH5.6安装部署
[[email protected] ~]# wget http://archive.cloudera.com/cdh5/parcels/5.6.1.3/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1
[[email protected] ~]# wget http://archive.cloudera.com/cdh5/parcels/5.6.1.3/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel
[[email protected] ~]# wget http://archive.cloudera.com/cdh5/parcels/5.6.1.3/manifest.json
           

##准备工作:系统环境搭建

1.关闭防火墙和SELinux

使用service iptables status命令查看防火墙状态。

使用service iptables stop关闭防火墙,这个命令是临时有效,当主机重启完闭即失效。

如果要永久关闭可以使用如下:

查看防火墙状态:chkconfig iptables --list

开启:chkconfig iptables on

关闭:chkconfig iptables off

Cloudera Manager CDH5.6安装部署

关闭SELINUX(实际安装过程中发现没有关闭也是可以的,不知道会不会有问题,还需进一步进行验证):

setenforce 0 (临时生效)

修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)

注意这里不要改错了,否则重启开不了机

Cloudera Manager CDH5.6安装部署

2.配置网络及主机名称。

2.1使用vi /etc/sysconfig/network将HOSTNAME修改为hadoop1

[[email protected] ~]# vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=hadoop1
           
Cloudera Manager CDH5.6安装部署

2.2修改ip与主机名的对应关系

这里我们配置三台服务器,hadoop1做主节点,其他两台做从节点

[[email protected] ~]# vi /etc/hosts

192.168.1.106   hadoop1
192.168.1.107   hadoop2
192.168.1.108   hadoop3
           
Cloudera Manager CDH5.6安装部署

3.配置互信

3.1创建~/.ssh 目录

3.2生成公匙

cd ~/.ssh

ssh-keygen -t rsa

在这个过程中一直回车就可以了

3.3将id_rsa.pub公匙添加到authorized_keys中

cat id_rsa.pub>>authorized_keys

3.4分配权限

chmod 700 ~/.ssh/authorized_keys

3.5最后使用ssh hadoop1进行验证是否可以登陆即可。

[[email protected] ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
11:0e:03:87:3f:45:94:5c:43:f7:a1:06:9b:fc:70:64 [email protected]
The key's randomart image is:
+--[ RSA 2048]----+
|    .o++++= E .  |
|    .. ++o O o . |
|     . .o = + .  |
|      o  . =     |
|       .S   .    |
|                 |
|                 |
|                 |
|                 |
+-----------------+
[[email protected] ~]# 
[[email protected] ~]# 
[[email protected] ~]# cd ~/.ssh/
[[email protected] .ssh]# ll
total 8
-rw------- 1 root root 1675 Mar 17 11:49 id_rsa
-rw-r--r-- 1 root root  394 Mar 17 11:49 id_rsa.pub
[[email protected] .ssh]# cat id_rsa.pub>>authorized_keys
[[email protected] .ssh]# chmod 700 ~/.ssh/authorized_keys 
[[email protected] .ssh]# ll
total 12
-rwx------ 1 root root  394 Mar 17 11:50 authorized_keys
-rw------- 1 root root 1675 Mar 17 11:49 id_rsa
-rw-r--r-- 1 root root  394 Mar 17 11:49 id_rsa.pub
[[email protected] .ssh]# ssh hadoop1
The authenticity of host 'hadoop1 (192.168.2.11)' can't be established.
RSA key fingerprint is 78:92:0c:48:bb:e5:30:a8:b7:57:08:83:1f:7a:e3:ef.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop1,192.168.2.11' (RSA) to the list of known hosts.
Last login: Sat Mar 17 11:48:29 2018 from 192.168.2.1
[[email protected] ~]# exit
logout
Connection to hadoop1 closed.
[[email protected] .ssh]# scp ~/.ssh/authorized_keys [email protected]:~/.ssh/#之后输入密码即可
[[email protected] .ssh]# scp ~/.ssh/authorized_keys [email protected]:~/.ssh/#之后输入密码即可
           
Cloudera Manager CDH5.6安装部署
Cloudera Manager CDH5.6安装部署

4.安装Oracle的Java(所有节点)

CentOS,自带OpenJdk,不过运行CDH5需要使用Oracle的Jdk,需要Java 7的支持。

4.1卸载自带的OpenJdk,使用rpm -qa | grep java查询java相关的包,使用 yum -y remove 包名卸载之。

[[email protected] ~]# rpm -qa | grep jdk
java-1.7.0-openjdk-1.7.0.171-2.6.13.0.el6_9.x86_64
java-1.7.0-openjdk-devel-1.7.0.171-2.6.13.0.el6_9.x86_64
[[email protected] ~]# #卸载上面系统自带的jdk
[[email protected] ~]# yum -y remove java-1.7.0-openjdk-1.7.0.171-2.6.13.0.el6_9.x86_64
[[email protected] ~]# yum -y remove java-1.7.0-openjdk-devel-1.7.0.171-2.6.13.0.el6_9.x86_64

           

下载jdk7或8都行

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

Cloudera Manager CDH5.6安装部署

4.2 确保/app目录中有JDK 安装包,这个目录是随意起的。

4.3 在/app目录中使用tar -zxvf jdk-8u181-linux-x64.tar.gz 解压缩

4.4 使用mv jdk1.8.0_181 jdk

4.5 使用 vi /etc/profile 命令配置环境变量。

4.6 使用source /etc/profile命令使配置生效。

4.7 使用java -version 查看JDK 版本号.

[[email protected] app]# tar -zxvf jdk-8u181-linux-x64.tar.gz
[[email protected] app]# mv  jdk1.8.0_181  jdk
[[email protected] app]# vi /etc/profile#追加两行,保存退出
export JAVA_HOME=/app/jdk
export PATH=.:$PATH:$JAVA_HOME/bin
[[email protected] app]# source /etc/profile
[[email protected] app]# java -version#出现版本号信息说明jdk安装成功
java version "1.8.0_141"
Java(TM) SE Runtime Environment (build 1.8.0_141-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.141-b15, mixed mode)

           

5.所有节点配置NTP服务

ntp服务不安装也可以,只要保证时间同步就没有问题。

集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。 具体思路如下:

master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务。

所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件:yum install ntp。完成后,配置开机启动:chkconfig ntpd on,检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。

[[email protected] ~]# yum install -y ntp
[[email protected] ~]# service ntpd start
[[email protected] ~]# chkconfig ntpd on
           

5.1 主节点配置

位置/etc/ntp.conf

在配置之前,先使用ntpdate手动同步一下时间,免得本机与对时中心时间差距太大,使得ntpd不能正常同步。这里选用65.55.56.206作为对时中心,

[[email protected] ~]# ntpdate -u 65.55.56.206
           

ntp服务只有一个配置文件,配置好了就OK。 这里只给出有用的配置,不需要的配置都用#注掉,这里就不在给出:

[[email protected] ~]# vi /etc/ntp.conf
...
...
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server cn.ntp.org.cn prefer
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
           

配置文件完成,保存退出,启动服务,执行如下命令:service ntpd start

检查是否成功,用ntpstat命令查看同步状态,出现以下状态代表启动成功:

synchronised to NTP server () at stratum 2

time correct to within 74 ms

polling server every 128 s

如果出现异常请等待几分钟,一般等待5-10分钟才能同步。

5.2 配置ntp客户端(所有datanode节点)

[[email protected] ~]# vi /etc/ntp.conf
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default kod nomodify notrap nopeer noquery
restrict -6 default kod nomodify notrap nopeer noquery
#这里是主节点的主机名或者ip
server hadoop1
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
           

ok保存退出,请求服务器前,请先使用ntpdate手动同步一下时间:ntpdate -u n1 (主节点ntp服务器)

这里可能出现同步失败的情况,请不要着急,一般是本地的ntp服务器还没有正常启动,一般需要等待5-10分钟才可以正常同步。启动服务:service ntpd start

因为是连接内网,这次启动等待的时间会比master节点快一些,但是也需要耐心等待一会儿。

6.安装mysql服务(主节点)

yum install mysql-server
chkconfig mysqld on
service mysqld start
mysqladmin -u root password 'root'
           

##7.正式安装

前面的步骤都是铺垫,如果有些软件已经安装过,可以直接跳到这一步,失败重新安装也是从这开始。

安装再预览一下所需要的安装包:

cloudera-manager-el6-cm5.6.1_x86_64.tar.gz

CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha

CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1

manifest.json

mysql-connector-java-5.1.46.tar.gz

##安装Cloudera Manager Server 和Agent

主节点解压安装

cloudera manager的目录默认位置在/opt下,解压:tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.1.3和cloudera目录放到/opt目录下。

为Cloudera Manager 5建立数据库,这里需要jdbc驱动mysql-connector-java-5.1.46.tar.gz,解压后,找到mysql-connector-java-5.1.46-bin.jar,放到/opt/cm-5.6.1/share/cmf/lib/中。

在主节点初始化CM5的数据库:

/opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
           

Agent配置

修改/opt/cm-5.6.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

同步Agent到其他节点

scp -r /opt/cm-5.1.3 [email protected]:/opt/

在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm

准备Parcels,用以安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo需要手动创建)。

相关的文件如下:

CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha
CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1
manifest.json
           

最后将CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1,重命名为CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel文件。

相关启动脚本

通过/opt/cm-5.6.1/etc/init.d/cloudera-scm-server start启动服务端。

通过/opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start启动Agent服务。

我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart。

#CDH5的安装配置

在主节点上启动clouderamanager

sh /opt/cm-5.6.1/etc/init.d/cloudera-scm-server start
sh /opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start
           

从节点上也启动

sh /opt/cm-5.6.1/etc/init.d/cloudera-scm-agent start
           

记得在Windows上也要配置域名信息

Cloudera Manager CDH5.6安装部署

追加

192.168.1.106   hadoop1
192.168.1.107   hadoop2
192.168.1.108   hadoop3
           

过一会在网页上输入hadoop1:7181,账号密码都是admin

Cloudera Manager CDH5.6安装部署

echo 10 > /proc/sys/vm/swappiness

cat /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/enabled

echo never > /sys/kernel/mm/transparent_hugepage/defrag

剩下的集群配置自己慢慢配置吧。

安装过程中很容易出现的状况就是,各种安装失败的情况,原因大部分是权限问题,自己看看日志,修改权限的命令为

chown -R hadoop:hadoop /文件路径
或者chown -R xx:xx  /文件路径
           

查看后台运行状况

ps -ef|grep cloudera
sh /opt/cm-5.6.1/etc/init.d/cloudera-scm-agent status
sh /opt/cm-5.6.1/etc/init.d/cloudera-scm-server status
           

我的GitHub

QQ:2541692705

邮箱:[email protected]

微信扫一扫关注我,没事可以玩玩小游戏

Cloudera Manager CDH5.6安装部署

我想去流浪,我想去读书,若有机会,江湖再见

扫一扫,领取红包,就当奖励你我付出的努力

Cloudera Manager CDH5.6安装部署

继续阅读