cm,cdh升级5.11->5.12(我只是大自然的搬运工)

集群环境

mimo41

mimo42

mimo56

mimo41为主节点

1.CM升级

• 下载cm安装包： 

  cloudera-manager-CentOS7-cm5.12.0_x86_64.tar.gz

当前版本下载地址：

https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz

所有版本下载地址：

https://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_vd.html

• 解压安装包

  [[email protected] ~]# tar -zxvf cloudera-manager-centos7-cm5.12.0\_x86\_64.tar.gz
        

  解压得两个文件夹 

  cm-5.12.0

   和 

  cloudera

  , 后者不需要修改， 当前需要所有核心的东西都在这，此时我们只需要更新

  cm-5.12.0

  ，

  [[email protected] ~]# cd /root/cm-5.12.0/etc/cloudera-scm-agent
  [[email protected] cloudera-scm-agent]# vim config.ini
        

  修改

  server_host

  和

  server_port

  两个属性值，此处端口使用的默认端口，只需要修改

  server_host=mimo41

  即可,将目录移到

  /opt

  下

  [[email protected] ~]# mv cm-5.12.0/ /opt
        

  将

  cm-5.12.0

   拷贝到集群的其他两台机器上

  [[email protected] opt]# scp -r cm-5.12.0/ mimo42:/opt/
  [[email protected] opt]# scp -r cm-5.12.0/ mimo56:/opt/
        

• 基本工作准备完毕，下一步需要将老集群CM的配置信息同步到新集群CM,两部分信息需要同步：

  • server的数据库信息

    覆盖默认的

    db.properties

    文件

    [[email protected] opt]# cp ./cm-5.11.0/etc/cloudera-scm-server/db.properties ./cm-5.12.0/etc/cloudera-scm-server/
          

  • agent的uuid信息

    拷贝 

    uuid

     和 

    cm_guid

    (cm_guid文件还不确定作用) 文件

    [[email protected] opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent
    [[email protected] opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent
    [[email protected] opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent
          

• 关闭集群服务和CM的server和agent服务
  • 通过cm界面关闭集群服务和CM服务

    [[email protected] init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-server stop
    [[email protected] init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop
    [[email protected] init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop
    [[email protected] init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop
          

    验证服务都已经正常关闭

    ps -ef | grep cloudera-scm-server | grep -v grep
    ps -ef | grep cloudera-scm-agent | grep -v grep
          

  • unmount进程挂载点

    

    [[email protected] init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process
    [[email protected] init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process
    [[email protected] init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process
          

  • 通过新版本CM启动server和agent服务

    [[email protected] ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-server start
    [[email protected] ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start
    [[email protected] ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start
    [roo[email protected] ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start
          

  • 打开CM管理网址，登录进去

    网页右上角，点击

    关于

    ，显示 

    5.12.0

    版本 ，表示CM升级成功

    

2.CDH升级

• 准备工作（如果网速不是特别好的话，提前下载好Parcel文件，放到 

  /opt/cloudera/parcel-repo

   目录下），下载方式：

具体安装步骤如下：

本次升级由于集群中没什么数据，所以就没备份数据库，强烈建议在生产环境中一定要备份数据库，要不然出问题就SB了，备份数据库步骤请参考附录

升级集群的时候发生错误，查看日志，原来是原来HDFS上已经有 

spark-assembly.jar

，删除之

[[email protected] parcel-repo]# sudo -u spark Hadoop fs -rm -f /user/spark/location/spark-assembly.jar
      

后面一路绿灯

最后在CM管理界面启动服务，至此，CDH升级完毕。

附录：

CM升级(官网)

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ag_ug_cm5_tarballs.html

CDH升级(官网)

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/install_upgrade_to_cdh5x_parcels.html

mysql数据库备份：

https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ag_backup_dbs.html#concept_tyh_rmq_bl