需求:将parquet数据文件同步数据到mysql数据库
需要通过创建parquet格式的hive表,从hdfs中将数据文件下载,我这里提前做好了
一、添加依赖包
在dinky的plugins目录和flink的lib目录下添加parquet文件格式的依赖包,并重启dinky和flink
依赖包下载地址参考:https://www.bookstack.cn/read/ApacheFlink-1.13-zh/d8d654b36a91abf4.md
下载的时候大家注意自己的flink版本
二、创建作业
三、编写flinksql代码
CREATE TABLE fs_table (
`id` STRING,
`name` STRING,
`sex` STRING,
`age` INT,
`work` STRING
) WITH (
'connector'='filesystem',
'path'='/home/data/parquet',
'format'='parquet'
);
CREATE TABLE par_out(
`id` STRING,
`name` STRING,
`sex` STRING,
`age` INT,
`work` STRING
) WITH (
'connector' = 'jdbc',
'url' = 'jdbc:mysql://172.16.119.50:3306/test?createDatabaseIfNotExist=true&useSSL=false',
'username' = 'root',
'password' = 'Tj@20220710',
'table-name' = 'par_out'
);
INSERT INTO par_out select id,name,sex,age,work from
四、运行作业
选定好提前部署的flink集群,并通过sql代码的检查没问题就可以运行
运行成功
也可以通过flink页面观察作业运行情况