1 ssh互访(可以不配置)
2 时间同步服务NTP配置
1.1 在一台主机上编辑配置文件/etc/ntp.conf
vim /etc/ntp.conf
去掉一下两行前面的#号
#server 127.127.1.0 # local clock
#fudge 127.127.1.0 stratum 10
1.2 在其他主机上分别编辑配置文件/etc/ntp.conf
vim /etc/ntp.conf
在#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
行下面增加行:
server master01 #第一步的主机名
1.3 所有节点启动ntpd服务:
service ntpd start
chkconfig ntpd on
3 安装并启动httpd服务
3.1配置yum
cd /etc/yum.repos.d/
rename .repo .repo.bak CentOS-*.repo
vim /etc/yum.repos.d/tmp.repo
写入并保存如下内容:
[tmp]
name=tmp
baseurl=file:///opt/centos6.3_lite #离线yum源
enabled=1
gpgcheck=0
3.2 安装 httpd
yum -y install httpd
service httpd restart
chkconfig httpd on
3.3 发布http内容
发布cm源:
cd /opt/packs/
tar xzvf cm.tar.gz -C /opt/ ##解压cm安装包到/opt目录
ln -s /opt/cm5.3.0/ /var/www/html/cm
ls -l /var/www/html/cm/
发布parcels源:
ln -s /opt/cdh5.3.0/ /var/www/html/parcels
ls -l /var/www/html/parcels/
加权限
chmod -R a+rx /var/www/html/parcels
chmod a+rx /var/www/html
chmod a+rx /var/www
chmod a+rx /var
chmod a+rx /
3.4 将cm目录配置到yum
方法如3.1
4 安装cm server
4.1 安装jdbc驱动
rpm -qa | grep -i mysql | xargs rpm -e --nodeps
——卸载原有mysql
yum -y install mysql-connector-java
——请确保没有报错
4.2 安装cm server
选一台主机安装
yum -y install cloudera-manager-server*
yum -y install mysql-server
启动mysql
service mysqld start
配置mysql
mysql>create database cmf default character set utf8 collate utf8_general_ci;
mysql>grant all on cmf.* to 'cmf'@'localhost' identified by 'cmf';
mysql>flush privileges;
mysql>exit;
运行自动建表语句
/usr/share/cmf/schema/scm_prepare_database.sh -P 3306 mysql cmf cmf cmf
启动cm server
service cloudera-scm-server start
查看是否启动成功:
service cloudera-scm-server status
5 分发安装包
在DM的server节点安装就绪后,访问DM-serverIP:7180,以admin账户登陆,
默认密码为admin。(首次登录管理界面时,选择“企业试用版”)。
5.1 选择全部主机
5.2 集群安装
选择“使用parcels”,同时点击更多选项:并且填写之前配置好的parcel路径,为:
第一个目录为parcels的目标目录
第三个目录为3.3中的httpd服务的cdh目录
继续
第三个红框为3.3中的httpd服务的cm目录
一直继续直到分发完成(最后先不要安装任何组件)
6 安装监控服务
建立数据库
mysql>create database rman default character set utf8 collate utf8_general_ci;
mysql>grant all on rman.* to 'rman'@'ROLE_HOST' identified by 'rman';
mysql>flush privileges;
cm页面右上角添加cloudera manager service
选择刚才建立的数据库
7 安装需要的cdh组件
7.1 cdh自带的组件很简单页面安装就可以
7.2 cdh不自带的组件(如 kafka kudu)安装
将kafka安装包放在主节点下的/var/www/html/parcels/kafka路径下:
mkdir /var/www/html/parcels/kafka/
cd /opt/packs/
unzip kafka_install.zip -d /opt/
cd /opt/kafka/
cp CLABS_KAFKA-* manifest.json /var/www/html/parcels/kafka/
ll /var/www/html/parcels/kafka/
将CLABS_KAFKA-1.0.0.jar包放在/opt/cloudera/csd目录下:
cp CLABS_KAFKA-1.0.0.jar /opt/cloudera/csd/
重启clouderamanager
service cloudera-scm-server restart
进入页面的“主机”页面——Parcel页面,点击‘编辑设置’,远程Parcel存储库URL添加kafka的存储路径
返回parcel页面找到KAFKA依次点击下载 分配 激活
在页面添加即可