天天看点

Impala升级(CDH4->CDH5)踩坑经历

    首先按照CDH官方文档对Impala进行升级,但是升级后有几个小问题需要注意下。

    在shell环境下,输入正常的SQL语句,报错如下

Impala升级(CDH4->CDH5)踩坑经历

    从报错信息上可以看出是在读取Hive Metadata过程中出了问题。由于在CDH5中配置了NameNode HA,而老版本CDH4中是单NameNode,所以在新版本中读取的时候,希望读取到新配置的fs.defaultFS属性值,即hdfs://dfs.nameservices,但是在Hive的MetaStore中存储的数据库,表以及表分区的位置还是按照老版本的单NameNode节点来配置的,类似hdfs://h031,这个时候需要手动update下Hive的metastore库下的两张表DBS和SDS,DBS主要存储Hive中的数据库名称和HDFS数据目录等信息,SDS存储Hive表以及表分区的HDFS数据目录和数据格式等信息。命令如下

    上述语句用dfs.nameservices的值替换掉老的NameNode的HOST信息,替换完成后就可以正常查询数据了。也可以使用Hive自带的工具metatool进行替换

    如果Hive表采用lzo方式压缩存储,直接查询会报错,如下

Impala升级(CDH4->CDH5)踩坑经历

    问题的原因是impala-lzo没有进行升级,这一点在CDH官方文档中并没有进行说明,所以进行升级就可以正常使用了,命令如下