flink 1.9
实验性的特性Experimental Features
本节描述DataStream API中的实验特性。实验特性仍在发展中,可能是不稳定的、不完整的,或者在未来的版本中可能发生重大变化。
Reinterpreting a pre-partitioned data stream as keyed stream将预分区数据流重新解释为键控流
我们可以将预分区的数据流重新解释为keyed流,以避免shuffling。
警告:重新解释的数据流必须已经预先分区,其方法必须与Flink的keyBy在随机shuffle分配w.r.t key-group时分区数据的方法完全相同。
这方面的一个用例可能是在两个工作之间的物化转移:第一个作业执行keyBy shuffle并将每个输出物化到一个分区中。对于每个并行实例,第二个作业具有从第一个作业创建的相应分区读取的sources 。这些来源现在可以重新解释为keyed streams,例如:窗口windowing应用案例。注意,这个技巧使第二个作业不易并行运行,这对于细粒度的恢复方案很有帮助。
此重新解释功能通过DataStreamUtils公开:
static <T, K> KeyedStream<T, K> reinterpretAsKeyedStream(
DataStream<T> stream,
KeySelector<T, K> keySelector,
TypeInformation<K> typeInfo)
给定基流、key值选择器selector和类型信息,该方法将从基流创建一个 keyed stream。
代码实例
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStreamSource<Integer> source = ...
DataStreamUtils.reinterpretAsKeyedStream(source, (in) -> in, TypeInformation.of(Integer.class))
.timeWindow(Time.seconds(1))
.reduce((a, b) -> a + b)
.addSink(new DiscardingSink<>());
env.execute();
https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/stream/experimental.html
https://flink.sojb.cn/dev/stream/experimental.html