天天看点

Nifi Processor | PutHiveQL

    执行HiveQL DDL / DML命令(例如,UPDATE,INSERT)。传入的FlowFile的内容应该是要执行的HiveQL命令。HiveQL命令可能会使用?逃避参数。在这种情况下,要使用的参数必须作为具有命名约定hiveql.args.N.type和hiveql.args.N.value的FlowFile属性存在,其中N是正整数。hiveql.args.N.type应该是一个表示JDBC Type的数字。FlowFile的内容预计为UTF-8格式。

用法:

场景 :生成Hive Sql 语句执行以创建分区

Nifi Processor | PutHiveQL

GenerateFlowFile:

alter table dev_wiwide_edw.wiupdate_f drop if exists partition(date_key="${now():format('yyyyMMdd')}");alter table dev_wiwide_edw.wiupdate_f add partition (date_key="${now():format('yyyyMMdd')}") location '/data/database/wiwide_edw.db/table/wiupdate_f/${now():format('yyyyMMdd')}';

以下是PutHiveQL 的配置

Nifi Processor | PutHiveQL
Nifi Processor | PutHiveQL
Nifi Processor | PutHiveQL

在Database Connection URL 中写入连接Hive 的连接信息,如 jdbc:hive2://cdh1:21050/dev_wiwide_edw;auth=noSasl

继续阅读