回顾
在上篇文章中,笔者使用的 CDH 版本为 5.16.2,其中 Hive 版本为 1.1.0(CDH 5.x 系列 Hive 版本都不高于 1.1.0,是不是不可理解),Flink 源代码本身对 Hive 1.1.0 版本兼容性不好,存在不少问题。为了兼容目前版本,笔者基于 CDH 5.16.2 环境,对 Flink 代码进行了修改,重新打包并部署。
其实经过很多开源项目的实战,比如 Apache Atlas,Apache Spark 等,Hive 1.2.x 和 Hive 1.1.x 在大部分情况下,替换一些 Jar 包,是可以解决兼容性的问题。对于笔者的环境来说,可以使用 Hive 1.2.1 版本的一些 Jar 包来代替 Hive 1.1.0 版本的 Jar 包。在本篇文章的开始部分,笔者会解决这个问题,然后再补充上篇文章缺少的实战内容。
剪不断理还乱的问题
根据读者的反馈,笔者将所有的问题总结为三类:
- Flink 如何连接 Hive 除了 API 外,有没有类似 spark-sql 命令
- 识别不到 Hadoop 环境或配置文件找不到
- 依赖包、类或方法找不到
1. Flink 如何连接 Hive
有的读者不太清楚,如何配置 Flink 连接 Hive 的 Catalog,这里补充一个完整的 conf/sql-client-hive.yaml 示例:
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 | |
sql-client-hive.yaml 配置文件里面包含:
- Hive 配置文件 catalogs 中配置了 Hive 的配置文件路径。
- Yarn 配置信息 deployment 中配置了 Yarn 的配置信息。
- 执行引擎信息 execution 配置了 blink planner,并且使用 batch 模式。batch 模式比较稳定,适合传统的批处理作业,而且可以容错,另外中间数据落盘,建议开启压缩功能。除了 batch,Flink 也支持 streaming 模式。
- Flink SQL CLI 工具
类似 spark-sql 命令,Flink 提供了 SQL CLI 工具,即 sql-client.sh 脚本。在 Flink 1.10 版本中,Flink SQL CLI 改进了很多功能,笔者后面讲解。
sql-client.sh 使用方式如下:
1 | |
2. 识别不到 Hadoop 环境或配置文件找不到
笔者在上篇文章中提到过,在部署 Flink 的环境上部署 CDH gateway,包括 Hadoop、Hive 客户端,另外还需要配置一些环境变量,如下:
1 2 3 4 | |
3. 依赖包、类或方法找不到
先查看一下 Flink 家目录下的 lib 目录:
01 02 03 04 05 06 07 08 09 10 11 12 13 | |
如果上面前两个问题都解决后,执行如下命令:
1 | |
报错,报错,还是报错:
1 | |
其实在运行 sql-client.sh 脚本前,需要指定 Hadoop 环境的依赖包的路径,建议不要报错一个添加一个,除非有的读者喜欢。这里笔者提示一个方便的方式,即设置 HADOOPCLASSPATH(可以添加到 ~/.bashprofile 中)环境变量:
1 | |
再次执行:
1 | |
很抱歉,继续报错:
1 | |
这里就是 Hive 1.1.0 版本的 Jar 包与 Flink 出现版本不兼容性的问题了,解决方法是:
- 下载 apache-hive-1.2.1 版本
- 替换 Flink lib 目录下的 Hive Jar 包 删除掉 hive-exec-1.1.0-cdh5.16.2.jar、 hive-metastore-1.1.0-cdh5.16.2.jar 和 libfb303-0.9.3.jar,然后添加 hive-exec-1.2.1.jar、 hive-metastore-1.2.1.jar 和 libfb303-0.9.2.jar,再次查看 lib 目录:
01 02 03 04 05 06 07 08 09 10 11 12 13 | |
最后再执行:
1 | |
这时,读者就可以看到手握栗子的可爱小松鼠了。
Flink SQL CLI 实践
在 Flink 1.10 版本(目前为 RC1 阶段) 中,Flink 社区对 SQL CLI 做了大量的改动,比如支持 View、支持更多的数据类型和 DDL 语句、支持分区读写、支持 INSERT OVERWRITE 等,实现了更多的 TableEnvironment API 的功能,更加方便用户使用。
接下来,笔者详细讲解 Flink SQL CLI。
0. Help
执行下面命令,登录 Flink SQL 客户端:
1 2 | |
执行 HELP,查看 Flink SQL 支持的命令,如下为大部分常用的:
- CREATE TABLE
- DROP TABLE
- CREATE VIEW
- DESCRIBE
- DROP VIEW
- EXPLAIN
- INSERT INTO
- INSERT OVERWRITE
- SELECT
- SHOW FUNCTIONS
- USE CATALOG
- SHOW TABLES
- SHOW DATABASES
- SOURCE
- USE
- SHOW CATALOGS
1. Hive 操作
- 1.1 创建表和导入数据
为了方便读者进行实验,笔者使用 ssb-dbgen 生成测试数据,读者也可以使用测试环境已有的数据来进行实验。
具体如何在 Hive 中一键式创建表并插入数据,可以参考笔者早期的项目 https://github.com/MLikeWater/ssb-kylin
- 1.2 Hive 表
查看上个步骤中创建的 Hive 表:
01 02 03 04 05 06 07 08 09 10 11 | |
读者可以对 Hive 进行各种查询,对比后面 Flink SQL 查询的结果。
2. Flink 操作
- 2.1 通过 HiveCatalog 访问 Hive 数据库
登录 Flink SQL CLI,并查询 catalogs:
1 2 3 4 5 6 | |
通过 show catalogs 获取配置的所有 catalog。由于笔者在 sql-client-hive.yaml 文件中设置了默认的 catalog,即为 staginghive。如果需要切换到其他 catalog,可以使用 usecatalog xxx。
- 2.2 查询 Hive 元数据
通过 Flink SQL 查询 Hive 数据库和表:
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | |
这里需要注意,Hive 的元数据在 Flink catalog 中都以小写字母使用。
- 2.3 查询
接下来,在 Flink SQL CLI 中查询一些 SQL 语句,完整 SQL 参考 https://github.com/MLikeWater/ssb-kylin 的 README。
目前 Flink SQL 解析 Hive 视图元数据时,会遇到一些 Bug,比如执行 Q1.1 SQL:
1 2 3 4 5 6 7 8 9 | |
Flink SQL 找不到视图中的实体表。
p_lineorder 表是 Hive 中的一张视图,创建表的语句如下:
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 | |
然后继续在 Flink SQL CLI 中查询 Q1.1 SQL:
1 2 3 4 5 6 7 8 9 | |
继续查询 Q2.1 SQL:
[Bash shell] 纯文本查看 复制代码 ?
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 | |
最后再查询一个 Q4.3 SQL:
01 02 03 04 05 06 07 08 09 10 11 12 13 14 | |
如果读者感兴趣的话,可以查询剩余的 SQL,当然也可以和 Spark SQL 进行比较。另外 Flink SQL 也支持 EXPLAIN,查询 SQL 的执行计划。
- 2.4 创建视图
同样,可以在 Flink SQL CLI 中创建和删除视图,如下:
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 | |
这里笔者需要特别强调的是,目前 Flink 无法删除 Hive 中的视图:
[Bash shell] 纯文本查看 复制代码 ?
1 2 3 | |
- 2.5 分区操作
Hive 数据库中创建一张分区表:
1 2 3 4 5 | |
接着,通过 Flink SQL 插入和查询数据:
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 | |
字段 day 在 Flink 属于关键字,要特殊处理。
- 2.6 其他功能
- 2.6.1 函数
Flink SQL 支持内置的函数和自定义函数。对于内置的函数,可以执行 show functions 进行查看,这一块笔者以后会单独介绍如何创建自定义函数。
- 2.6.2 设置参数
Flink SQL 支持设置环境参数,可以使用 set 命令查看和设置参数:
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | |
总结
在本文中,笔者通过 Flink SQL 比较详细地去操作 Hive 数据库,以及 Flink SQL 提供的一些功能。
当然,目前 Flink SQL 操作 Hive 数据库还是存在一些问题:
- 目前只支持 TextFile 存储格式,还无法指定其他存储格式 ,只支持 Hive 数据库中 TextFile 存储格式的表,而且 row format serde 是 org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe。虽然实现了 RCFile、ORC、Parquet、Sequence 等存储格式,但是无法自动识别 Hive 表的存储格式。如果要使用其他存储格式,需要修改源码,重新编译。不过社区已经对这些存储格式进行了测试,相信不久以后就可以在 Flink SQL 中使用。
- OpenCSVSerde 支持不完善:如果读者使用 TextFile 的 row format serde 为 org.apache.hadoop.hive.serde2.OpenCSVSerde 时,无法正确识别字段类型,会把 Hive 表的字段全部映射为 String 类型。
- 暂时不支持 Bucket 表
- 暂时不支持 ACID 表
- Flink SQL 优化方面功能较少
- 权限控制方面:这方面和 Spark SQL 类似,目前基于 HDFS ACL 控制,暂时还没有实现 Sentry 或 Ranger 控制权限,不过目前 Cloudera 正在开发基于 Ranger 设置 Spark SQL 和 Hive 共享访问权限的策略,实现行/列级控制以及审计信息。
Flink 社区发展很快,所有这些问题只是暂时的,随着新版本的发布会被逐个解决。
如果 Flink SQL 目前不满足的需求,建议使用 API 方式来解决问题。