天天看点

oozie 运行demo

昨晚装好了oozie,能启动了,并且配置了mysql作为数据库,好了,今天要执行oozie自带的demo了,好家伙,一执行就报错!报错很多,就不一一列举了,就说我最后解决的方法吧。

这句话需要在oozie的目录里面执行,然后在网上查了很多资料,最后搞定了,需要修改三个配置文件。

在说修改配置文件之前,还漏了一些东西,先补上,首先我们需要解压目录下面的oozie-examples.tar.gz,oozie-client-3.3.2.tar.gz,

oozie-sharelib-3.3.2.tar.gz,然后把examples和share目录上传到fs上面去。

然后在/etc/profile配置oozie-client的环境变量。

接下来说怎么解决的oozie的吧。

<b>1.修改oozie的conf目录下的oozie-site.xml</b>

增加以下内容:

<b>2.修改oozie-env.sh,增加以下内容</b>

<b>3.修改所有节点的hadoop的配置文件core-site.xml</b>

然后重启就可以执行了,里面的cenyuhai是我的本机账号。

补充:在进行完上述配置之后,作业可以提交了,但是提交了mr作业之后,在web页面中查看,遇到了一个错误:

这个问题排查了很久,都没有得到解决 ,最后通过修改job.properties,把jobtracker从localhost:9001改成下面的全称才行,这个可能跟我的hadoop的jobtracker设置有关,所以遇到有这方面问题的童鞋可以试试。

接下来我们接着运行hive的demo,运行之前记得修改hive的demo的job.properties,改为上面写的那样。

然后提交,提交成功了,但是在web页面上查看状态为killed,被干掉了。。。

错误代码:ja018,错误消息:org/apache/hadoop/hive/cli/clidriver

然后我就想着可能是jar包的问题,删掉share目录下的hive目录里的所有jar包,然后把自己机器上的hive的所有jar包复制到该目录下。

然后上传到共享目录上:

再次提交,就可以查看到成功的状态啦!

但是这个坑爹的玩意儿,其实是把数据插入到了derby中。。。无语了,虽然现实成功了,但是没有用。。。因为我们配置了外置的mysql数据库,那怎么办呢?

需要修改workflow.xml,把其中的configuration的配置节改成下面的样子。

然后提交之后,在hive中就可以查询到你所建立的表啦,oh,yeah!