天天看点

cloudera manager 安装文档1 ssh互访(可以不配置)2 时间同步服务NTP配置3 安装并启动httpd服务4 安装cm server5 分发安装包6 安装监控服务7 安装需要的cdh组件

1 ssh互访(可以不配置)

2 时间同步服务NTP配置

1.1 在一台主机上编辑配置文件/etc/ntp.conf

vim /etc/ntp.conf

去掉一下两行前面的#号

#server  127.127.1.0     # local clock

#fudge  127.127.1.0 stratum 10

1.2 在其他主机上分别编辑配置文件/etc/ntp.conf

vim /etc/ntp.conf

在#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

行下面增加行:

server master01 #第一步的主机名

1.3 所有节点启动ntpd服务:

service ntpd start

chkconfig ntpd on

3 安装并启动httpd服务

3.1配置yum

cd /etc/yum.repos.d/

rename .repo .repo.bak CentOS-*.repo

vim /etc/yum.repos.d/tmp.repo

写入并保存如下内容:

[tmp]

name=tmp

baseurl=file:///opt/centos6.3_lite    #离线yum源

enabled=1

gpgcheck=0

3.2 安装 httpd

yum -y install httpd

service httpd restart

chkconfig httpd on

3.3 发布http内容

发布cm源:

cd /opt/packs/

tar xzvf cm.tar.gz -C /opt/  ##解压cm安装包到/opt目录

ln -s /opt/cm5.3.0/ /var/www/html/cm

ls -l /var/www/html/cm/

发布parcels源:

ln -s /opt/cdh5.3.0/ /var/www/html/parcels

ls -l /var/www/html/parcels/

加权限

chmod -R a+rx /var/www/html/parcels

chmod a+rx /var/www/html

chmod a+rx /var/www

chmod a+rx /var

chmod a+rx /

3.4 将cm目录配置到yum

方法如3.1

4 安装cm server

4.1 安装jdbc驱动

rpm -qa | grep -i mysql | xargs rpm -e --nodeps 

——卸载原有mysql

yum -y install mysql-connector-java

——请确保没有报错

4.2 安装cm server

选一台主机安装

yum -y install cloudera-manager-server* 

yum -y install mysql-server

启动mysql

service mysqld start

配置mysql

mysql>create database cmf default character set utf8 collate utf8_general_ci;

mysql>grant all on cmf.* to 'cmf'@'localhost' identified by 'cmf';

mysql>flush privileges;

mysql>exit;

运行自动建表语句

/usr/share/cmf/schema/scm_prepare_database.sh -P 3306 mysql cmf cmf cmf

启动cm server

service cloudera-scm-server start

查看是否启动成功:

service cloudera-scm-server status

5 分发安装包

在DM的server节点安装就绪后,访问DM-serverIP:7180,以admin账户登陆,

默认密码为admin。(首次登录管理界面时,选择“企业试用版”)。

5.1 选择全部主机

5.2 集群安装

选择“使用parcels”,同时点击更多选项:并且填写之前配置好的parcel路径,为:

cloudera manager 安装文档1 ssh互访(可以不配置)2 时间同步服务NTP配置3 安装并启动httpd服务4 安装cm server5 分发安装包6 安装监控服务7 安装需要的cdh组件

第一个目录为parcels的目标目录

第三个目录为3.3中的httpd服务的cdh目录

继续

cloudera manager 安装文档1 ssh互访(可以不配置)2 时间同步服务NTP配置3 安装并启动httpd服务4 安装cm server5 分发安装包6 安装监控服务7 安装需要的cdh组件

第三个红框为3.3中的httpd服务的cm目录

一直继续直到分发完成(最后先不要安装任何组件)

6 安装监控服务

建立数据库

mysql>create database rman default character set utf8 collate utf8_general_ci;

mysql>grant all on rman.* to 'rman'@'ROLE_HOST' identified by 'rman';

mysql>flush privileges;

cm页面右上角添加cloudera manager service

选择刚才建立的数据库

7 安装需要的cdh组件

7.1 cdh自带的组件很简单页面安装就可以

7.2 cdh不自带的组件(如 kafka kudu)安装

将kafka安装包放在主节点下的/var/www/html/parcels/kafka路径下:

mkdir /var/www/html/parcels/kafka/

cd /opt/packs/

unzip kafka_install.zip -d /opt/

cd /opt/kafka/

cp CLABS_KAFKA-* manifest.json /var/www/html/parcels/kafka/

ll /var/www/html/parcels/kafka/

将CLABS_KAFKA-1.0.0.jar包放在/opt/cloudera/csd目录下:

cp CLABS_KAFKA-1.0.0.jar /opt/cloudera/csd/

重启clouderamanager

service cloudera-scm-server restart

进入页面的“主机”页面——Parcel页面,点击‘编辑设置’,远程Parcel存储库URL添加kafka的存储路径

返回parcel页面找到KAFKA依次点击下载 分配 激活

在页面添加即可

cloudera manager 安装文档1 ssh互访(可以不配置)2 时间同步服务NTP配置3 安装并启动httpd服务4 安装cm server5 分发安装包6 安装监控服务7 安装需要的cdh组件