CDH5离线文件大数据平台的搭建

CDH：全称Cloudera’s Distribution Including Apache Hadoop

CDH版本衍化

　　hadoop是一个开源项目，所以很多公司在这个基础进行商业化，Cloudera对hadoop做了相应的改变。

　　Cloudera公司的发行版，我们将该版本称为CDH(Cloudera Distribution

Hadoop)。截至目前为止，CDH共有5个版本，其中，前两个已经不再更新，最近的两个，分别是CDH4，在Apache Hadoop 2.0.0版本基础上演化而来的，CDH5，它们每隔一段时间便会更新一次。

以下是CDH5安装有可能会用到的连接，我都在下面列出：

大数据架构师基础：hadoop家族，Cloudera产品系列等各种技术

http://www.aboutyun.com/thread-6842-1-1.html

Cloudera Manager （centos）安装详细介绍

http://www.aboutyun.com/thread-9190-1-1.html

Cloudera Manager Server命令

http://www.aboutyun.com/thread-9096-1-1.html

离线安装Cloudera Manager 5和CDH5(最新版5.1.3) 完全教程

http://www.cnblogs.com/jasondan/p/4011153.html

Linux下MySql的登陆和管理操作

http://blog.csdn.net/wuli_kiki/article/details/48719147

CentOS6.8下使用yum安装mysql，并远程登陆mysql

http://blog.csdn.net/jeffleo/article/details/53559712

在CentOS 7/6.5/6.4 中安装Java JDK 8

http://www.linuxidc.com/Linux/2014-12/110211.htm

centos 6.5下安装、配置并启动SSH远程访问

http://blog.csdn.net/xushouwei/article/details/51705699

最新的手把手教您linux环境下安装jdk1.8

https://jingyan.baidu.com/article/d5c4b52bebcb64da570dc571.html

最靠谱的CDH5安装指南

http://www.jianshu.com/p/57179e03795f

CDH5 新手详细安装教程

http://www.aboutyun.com/thread-18067-1-1.html

Cloudera Manager5及CDH5安装指导（终极在线安装）

http://www.aboutyun.com/thread-9075-1-1.html

Xshell实现Windows上传文件到Linux主机

http://blog.csdn.net/w1014074794/article/details/51919757

安装CDH5的过程

1、添加host名称

vi /etc/hosts

192.168.3.161 master

2、设置免密钥登录（可以省略）

第一步:在本地机器上使用ssh-keygen产生公钥私钥对

ssh-keygen

第二步:用ssh-copy-id将公钥复制到远程机器中

ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected]

第三步: 登录到远程机器不用输入密码

ssh 用户名@192.168.x.xxx

3、修改hostName,基于第一步设置的host修改服务器的hostname

hostname master 修改下，让hostname立刻生效

vi /etc/sysconfig/network

修改原hostname为newname , reboot重启。

uname -a

重新检查下我们刚才设置好的host名称。

4、关闭SELinux

vi /etc/selinux/config

修改SELinux=disabled

5、关闭防火墙并设置开机后也关闭

service iptables stop

chkconfig iptables off

查询防火墙状态:

service iptables status

6、安装ntp服务

yum -y install ntp

chkconfig ntpd on

7、重启服务

reboot

8、需要检查的服务：

service ntpd status

/usr/sbin/sestatus -v

service iptables status

9、复制cdh的软件源到/etc/yum.repms.d/文件夹下（所有节点）

cp cloudera-manager.repo /etc/yum.repos.d/

10、清理缓存并列出可用的rpm包，如果版本和自己安装的不符，需要注意（所有节点）

yum clean all

yum list | grep cloudera

11、进入rpm文件夹，所有节点安装rpm文件（所有节点）

yum –y install *.rpm

12、将Parcel的三个文件复制到/opt/cloudera/parcel-repo（所有节点）

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha

manifest.json

13、安装cloudera-manager-installer.bin（主节点）

给权限：

chmod +x ./cloudera-manager-installer.bin

执行：

./cloudera-manager-installer.bin

安装时会提示一个/etc/cloudera-scm-server/db.properties文件存在，找到对应的路径修改文件名为db.properties.bak(做备份)，再次执行即可。

可以用这个命令查看server的启动过程：

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

出现这个说明启动成功：

Started Jetty server

14、安装cloudera-manager-installer.bin完成后，访问

http://master:7180

用户/密码:

admin/admin

到此为止，安装CDH5暂时结束，在后面还要进行配置，相关笔记以后补充。

PS

给数据库赋权限：

create database hue DEFAULT CHARACTER SET utf8;
grant all on hue.* TO 'root'@'%' IDENTIFIED BY 'root';
flush privileges;

create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
flush privileges;

create database oozie DEFAULT CHARACTER SET utf8;
grant all on oozie.* TO 'root'@'%' IDENTIFIED BY 'root';
flush privileges;
           

修改数据库密码

use mysql; 
update user set password=password('root') where user='root';
flush privileges; 
           

将nysql的数据库驱动放到

/usr/share/java