天天看点

Oozie安装教程

一、安装Hadoop CDH环境

1.上传安装包

2.解压

3.修改配置文件

3.1hadoop-env.sh

3.2mapred-env.sh

3.3yarn-env.sh

3.4core-site.xml

3.5hdfs-site.xml

3.6mapred-site.xml

3.7yarn-site.xml

3.8slaves

4.远程发送配置文件

5.格式化集群并启动

二、部署oozie

3.集成jar包

4.修改oozie的配置文件

4.1JDBC驱动包

4.2jdbc url

4.3数据库用户名

4.4数据库密码

5.在MySQL中创建数据库

6.初始化oozie

7.启动

本人在安装oozie的时候遇到了无数的坑,由于oozie在官网上只有源码包,所以得编译。oozie这个东西要多个组件的版本吻合,不然就会各种编译报错,所以不建议自己编译。如果想用oozie,直接装一套cdh然后再装对应版本的oozie是最快的,别看要重新部署hadoop集群,这样可比单独编译Oozie要快的多。涉及到的各种安装包的链接在这(Oozie安装包,提取码:r8b2),下面首先部署cdh

集群规划:

HDFS

YARN

hadoop01

namenode+datanode+jobhistory

nodemanager

hadoop02

datanode+secondarynamenode

hadoop03

datanode

nodemanager+resourcemanager

这里说明一下,我的mysql装在hadoop03上,所以我在03上装oozie,进入到配置文件里面

加入jdk的路径

这里一定记得要加路径,不然会跟我们之前的集群产生冲突

Oozie安装教程

看到successful表示格式化成功!

启动hdfs

启动jobhistory

启动yarn

启动之后的进程应该是这样

Oozie安装教程

ext-2.2.zip包不用解压

然后进入oozie文件夹里解压hadooplibs

直接解压到上一级目录

在oozie-4.0.0-cdh5.3.6下创建文件夹libext(这个名字不能更改)

拷贝刚才解压的hadooplibs

将jdbc的jar包也拷贝过来,我这里是直接拿的hive里面的jar

最后是拷贝oozie web ui的js框架包

修改oozie-site.xml中的4个property

上传Oozie目录下的yarn.tar.gz文件到HDFS

创建oozie.sql文件

打包项目,生成war包

Oozie安装教程

可以看到oozie的进程

Oozie安装教程

访问:http://hadoop03:11000/oozie/

出现下面界面则启动成功!

Oozie安装教程

继续阅读