CDH安装配置

Cloudera5.14配置

• 准备工作
  1. 软件下载
  2. 软件安装
     1. JDK安装

所有节点

1. 安装
2. 环境变量配置

sudo vim /etc/profile

export JAVA_HOME=/usr/java/default

export PATH=$JAVA_HOME/bin:$PATH

使用root用户

echo "JAVA_HOME=/usr/java/default" >> /etc/environment

1. 1. 1. Mysql安装

https://blog.csdn.net/u014646662/article/details/75195739

1. 1. 1. Httpd安装

yum install httpd

service httpd start

chkconfig httpd on

1. 1. 1. Mod_ssl安装

yum install mod_ssl

1. 1. Linux环境配置
      1. 环境变量配置
      2. 主机配置

每一台都要配，以Manager节点为例，其他节点配置方法相同

表1-1 主机配置

IP	HostName	Node
192.168.160.128	cloudera.manager	Manager
192.168.160.135	cloudera.agent1	Agent
192.168.160.n…	cloudera.agent…	Agent

1. 修改主机名：

sudo vim /etc/sysconfig/network

使用root用户（vim 编辑也可）

echo "cloudera.manager" > /etc/hostname

修改hosts文件

sudo vim /etc/hosts

重启网卡

sudo service network restart

如果启动失败

启动失败如果是没有发现网卡驱动，请检查网卡的名字（ifconfig），是否与配置的一致

配置：

sudo vim /etc/udev/rules.d/70-persistent-net.rules

配置的网卡name

sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0 (编辑你使用的网卡)

DEVICE="eth0" BOOTPROTO="dhcp" HWADDR="00:0C:29:C0:68:D6" IPV6INIT="yes" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="66563504-826a-4fff-9088-8cf8159a1e37"

这些操作之后应该网卡就可以正常启动了，顺便提示一下，如果你的虚拟机是复制的，那你要更改UUID，使每一台机器UUID都是唯一的

重启linux

reboot

系统重启后，检查是否配置成功

hostname

1. 关闭防火墙

关闭 sudo service iptables stop sudo chkconfig iptables off 查看状态 sudo service iptables status

1. 关闭SELinux

sudo vim /etc/selinux/config

修改：

SELINUX=disabled

1. Ntp 配置

如果你没有装，请先安装(redhat 系统自带)

yum install ntp

该配置除Manager节点外都要配，即只配Agent

sudo vim /etc/ntp.conf

修改内容

server cloudera.manager

启动ntp

service ntpd start chkconfig ntpd on 查看启动状态 sudo service ntpd status 命令查看同状态 ntpstat

1. 1. 1. MySQL初始化

主节点 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database reports DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database activity DEFAULT CHARSET utf8 COLLATE utf8_general_ci; grant all privileges on *.* to 'root'@'localhost' identified by 'ztx' with grant option; grant all privileges on *.* to 'root'@'cloudera.manager' identified by 'ztx' with grant option; flush privileges;

1. 1. 1. SSH配置

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

scp ~/.ssh/authorized_keys [email protected]:~/.ssh/

• Cloudera安装
  1. Cloudera 解压

每台机器操作相同 进入安装包的路径 cd /opt/ mkdir /opt/cloudera-manager /opt/cloudera 解压cloudera-manager tar -xzvf cloudera-manager-el6-cm5.14.3_x86_64.tar.gz -C /opt/cloudera-manager mv /opt/cloudera-manager/cloudera/* /opt/cloudera/

1. 1. 创建cloudera-scm用户

每台机器 sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM" cloudera-scm

由于Cloudera Manager和Managed Services默认使用cloudera­scm，所以需要创建此用户

1. 1. Cloudera配置
      1. 主节点配置

sudo mkdir /var/lib/cloudera-scm-server sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

1. 1. 1. Agent配置

配置所有节点的Agent，

vim /opt/cloudera-manager/cm-5.14.3/etc/cloudera-scm-agent/config.ini

1. 1. 1. MySQL配置

注意去除了版本号 所有节点 mv mysql-connector-java-5.1.38.jar /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar 主节点 /opt/cloudera-manager/cm-5.14.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pztx --force --scm-host localhost scm scm scm --force 是忽略错误，

1. 1. 1. 安装CDH5

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo目录

最后将CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha1,重命名为CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel.sha,这点必须注意，否则，系统会重新下载CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel文件

1. 2. 后续信息

sudo mkdir /var/run/cloudera-scm-agent

sudo chown cloudera-scm:cloudera-scm /var/run/cloudera-scm-agent

sudo mkdir /opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server

sudo chown cloudera-scm:cloudera-scm /opt/cloudera-manager/cm-5.14.3/run/cloudera-scm-server

echo 0 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

1. 1. 安装组件时

Hive安装失败(找不到mysql 驱动)

cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hive/lib/

oozie安装失败(找不到mysql 驱动)

cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/lib

cp /opt/cloudera-manager/cm-5.14.3/share/cmf/lib/mysql-connector-java.jar /opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/oozie/libext/

• 集成环境配置
  1. 启动

cd /opt/cloudera-manager/cm-5.14.3/etc/init.d/

Manager：./cloudera-scm-server start

Agent: ./cloudera-scm-agent start

1. 1. 登录

• 问题
  1. 启动Hadoop生态圈中的组件出错(缺少服务)

启动出错原因：部分软件没有安装

例如：hue启动时角色启动失败

请检查httpd和mod_ssl是否安装了，在错误日志中可以看到

如果这两个软件没有装，在启动时也会报没有权限，手动更改权限后再重启，hue又重新生成文件，又说没有权限，再继续向下看错误日志，会发现这两个软件没有装，如果已经装过，那就是没有启动服务。

在启动服务时一定要用root用户，前面加sudo是不行的

yum install httpd

service httpd start

chkconfig httpd on

yum install mod_ssl

service mod_ssl

chkconfig mod_ssl on

1. 1. 运行命令出错(权限管理)

错误多为权限问题

在控制权限的时候不要都给*777权限，尽量不要给所有用户赋予可写权限，在cdh中Hadoop生态圈中所有的组件的超级管理员默认是hdfs，属于hdfs组，也属于超级管理员组。

在linux中默认的超级管理员是root，root在Hadoop生态圈组件中却属于普通用户，不是管理员用户。

默认情况下，hive、spark、hue等组件执行命令时，如果不是hdfs用户，都会出现权限问题，抛出异常。要指定的用户有权限执行命令可以这么做：

Ⅰ 在linux下使用hdfs登录，登录方式：

1. su hdfs 回车后输入hdfs密码；
2. 登录root后只输入su hdfs回车，不需要hdfs密码
3. 具有sudo 的用户可以输入sudo su hdfs

Ⅱ 更改hdfs的/user目录的权限，赋予775

hdfs dfs chmod 775 /user

Ⅲ 为指定的用户添加权限，即将指定的用户添加到hdfs组中，不改变之前的所属组

usermod -a -G hdfs username

username 是待指定的用户的名字

Hue的web页面登录的用户要属于hdfs组

1. 1. SERVICE_MONITORING is not running