天天看点

CDH 环境集成Kudu、Spark2服务方案及相关问题的解决方案安装服务问题:

环境:Centos 7 、CDH 5.10.2、     Kudu1.4.0-1.cdh5.12.0.p0.25、Spark 2.2.0.cloudera1-1.cdh5.12.0.p0.142354

我用了一天时间重新搭建了一个测试集群,在此过程中其他都很顺利,但是在安装Kudu、Spark2服务的时候遇到了一点问题,在这里记录下。

按照官网的说明,CDH 在5.12之后的版本集成了Kudu,在这之前的版本需要自己指定Kudu的parcel。也可以自己去相应的地址自己下载。

安装服务

方案一:自动安装

1、在Cloudera Manager主页依次选择 主机——》Parcel——》配置

CDH 环境集成Kudu、Spark2服务方案及相关问题的解决方案安装服务问题:

2、在【Parcel 设置】页面添加新的 远程 Parcel 存储库 URL,并点击【保存更改】。

Kudu :

https://archive.cloudera.com/kudu/parcels/5.10/

http://archive.cloudera.com/kudu/parcels/latest/

Spark2:

http://archive.cloudera.com/spark2/parcels/latest/

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/

CDH 环境集成Kudu、Spark2服务方案及相关问题的解决方案安装服务问题:

如果想用当前版本CDH支持的最新版的就只需要添加上述地址中https://archive.cloudera.comlatest。

3、【检查新Parcel】后会出现对应的可用服务

CDH 环境集成Kudu、Spark2服务方案及相关问题的解决方案安装服务问题:

4、选择对应版本的服务,【下载】——》【分配】——》【激活】

5、添加服务,

CDH 环境集成Kudu、Spark2服务方案及相关问题的解决方案安装服务问题:

方案二:手动下载安装

1、去以下地址下载需要的版本的Parcel包,和对应的.parcel.sha1

http://archive.cloudera.com/spark2/parcels/

http://archive.cloudera.com/kudu/parcels/

2、将下载的文件分发到集群中所有节点的/opt/cloudera/parcel-repok路径洗下,并将parcel.sha1重命名为parcel.sha

3、执行方案一中第4步中【激活】

4、执行方案一中第5步,添加服务。

问题:

在上述方案中的【添加服务】时,可用服务列表中没有Kudu和Spark2。

CDH 环境集成Kudu、Spark2服务方案及相关问题的解决方案安装服务问题:

解决方案:

1、下载对应版本的csd包,并放在Cloudera Manager Server所在节点的 /opt/cloudera/csd 路径下。

https://archive.cloudera.com/kudu/csd/

https://archive.cloudera.com/spark2/csd/

2、使用命令 

service cloudera-scm-server restart
           

重启Cloudera Manager Server

待服务重启完之后,在添加服务界面就可以看到相关的服务了。

参考:https://www.cloudera.com/documentation/director/latest/topics/director_using_kudu.html

继续阅读