天天看点

Oozie安装及安装过程中存在的问题

1. 从网上下载oozie安装包,下载路径为http://archive.cloudera.com/cdh5/cdh/5/oozie-4.0.0-cdh5.0.1.tar.gz,上传文件到服务器,例如上传到/home/hadoop/local目录下

2.  进入/home/hadoop/local目录,运行 tar oozie-4.0.0-cdh5.0.1.tar.gz命令,解压文件

3.   进入oozie程序根目录下的bin目录,依次运行以下命令:

./addtowar.sh -inputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie.war -outputwar /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-server/webapps/oozie.war -hadoop 2.3.0 ${HADOOP_HOME} -extjs /home/hadoop/local/oozie-4.0.0-cdh5.0.1/ext-2.2.zip

./ooziedb.sh create -sqlfile oozie.sql

./oozie-setup.sh db create -run –sqlfile /home/hadoop/local/oozie-4.0.0-cdh5.0.1/bin/oozie.sql

./oozie-setup.sh sharelib create -fs hdfs://master:8020 -locallib /home/hadoop/local/oozie-4.0.0-cdh5.0.1/oozie-sharelib-4.0.0-cdh5.0.1-yarn.tar.gz

4.  进oozie程序根目录下的conf目录,修改oozie-site.xml文件,主要是两个属性需要修改,1)oozie.services属性,将oozie.services属性值中org.apache.oozie.service.JobsConcurrencyService类的次序调致第一个。

2) oozie.service.HadoopAccessorService.hadoop.configurations 属性,将其值调整为 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop

    5.进入bin目录下,执行./oozie-start.sh 致些,oozie启动成功

    6.安装的过程中主要的问题在于sharelib包无法加载的问题,这个问题的处理方法如下: 

1)检测sharelib包是否已经加入到hadoop文件系统中,执行hadoop fs –ls /user/Hadoop/share/lib 查看sharelib包是否存在

2)检查 oozie 与 Hadoop 的对接配置是否正确,主要是检查上面第四步中的oozie.service.HadoopAccessorService.hadoop.configurations 属性,其值为 *=/home/hadoop/local/hadoop-2.3.0-cdh5.0.1/etc/Hadoop,其值所指向的目录是否是hadoop的配置文件目录,如果没有配置正常,则会报/user/Hadoop/share/lib文件找不到错误

3)检查oozie.services属性是否确置正常,主要是org.apache.oozie.service.JobsConcurrencyService类的次序是否已调致第一个,如果没有,则会报在oozie的后台目录中会报NullPointerException错误。

7.修改/etc/hadoop/mapred-site.xml 增加以下内容

  yarn.app.mapreduce.am.staging-dir

  /user

            /etc/hadoop/yarn-site.xml

将配置注释掉

        8. 在hdfs上创建/user/history