天天看點

Oozie安裝教程

一、安裝Hadoop CDH環境

1.上傳安裝包

2.解壓

3.修改配置檔案

3.1hadoop-env.sh

3.2mapred-env.sh

3.3yarn-env.sh

3.4core-site.xml

3.5hdfs-site.xml

3.6mapred-site.xml

3.7yarn-site.xml

3.8slaves

4.遠端發送配置檔案

5.格式化叢集并啟動

二、部署oozie

3.內建jar包

4.修改oozie的配置檔案

4.1JDBC驅動包

4.2jdbc url

4.3資料庫使用者名

4.4資料庫密碼

5.在MySQL中建立資料庫

6.初始化oozie

7.啟動

本人在安裝oozie的時候遇到了無數的坑,由于oozie在官網上隻有源碼包,是以得編譯。oozie這個東西要多個元件的版本吻合,不然就會各種編譯報錯,是以不建議自己編譯。如果想用oozie,直接裝一套cdh然後再裝對應版本的oozie是最快的,别看要重新部署hadoop叢集,這樣可比單獨編譯Oozie要快的多。涉及到的各種安裝包的連結在這(Oozie安裝包,提取碼:r8b2),下面首先部署cdh

叢集規劃:

HDFS

YARN

hadoop01

namenode+datanode+jobhistory

nodemanager

hadoop02

datanode+secondarynamenode

hadoop03

datanode

nodemanager+resourcemanager

這裡說明一下,我的mysql裝在hadoop03上,是以我在03上裝oozie,進入到配置檔案裡面

加入jdk的路徑

這裡一定記得要加路徑,不然會跟我們之前的叢集産生沖突

Oozie安裝教程

看到successful表示格式化成功!

啟動hdfs

啟動jobhistory

啟動yarn

啟動之後的程序應該是這樣

Oozie安裝教程

ext-2.2.zip包不用解壓

然後進入oozie檔案夾裡解壓hadooplibs

直接解壓到上一級目錄

在oozie-4.0.0-cdh5.3.6下建立檔案夾libext(這個名字不能更改)

拷貝剛才解壓的hadooplibs

将jdbc的jar包也拷貝過來,我這裡是直接拿的hive裡面的jar

最後是拷貝oozie web ui的js架構包

修改oozie-site.xml中的4個property

上傳Oozie目錄下的yarn.tar.gz檔案到HDFS

建立oozie.sql檔案

打包項目,生成war包

Oozie安裝教程

可以看到oozie的程序

Oozie安裝教程

通路:http://hadoop03:11000/oozie/

出現下面界面則啟動成功!

Oozie安裝教程

繼續閱讀