Hi,我是王知无,一个大数据领域的原创作者。
放心关注我,获取更多行业的一手消息。
Apache Flink 社区发布了 Flink 1.13 的另一个错误修复版本。
此版本包括99个错误和漏洞修复以及 Flink 1.13 的小改进,包括 Apache Log4j 的另一次升级(到 2.17.1)。您将在下面找到所有错误修复和改进的列表(不包括对构建基础架构和构建稳定性的改进)。有关所有更改的完整列表,请参阅JIRA列表。
我们强烈建议所有用户升级到 Flink 1.13.6。
新的Maven依赖
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.13.6</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.13.6</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.11</artifactId>
<version>1.13.6</version>
</dependency>
修复漏洞
- [ FLINK-15987 ] - SELECT 1.0e0 / 0.0e0 抛出 NumberFormatException
- [ FLINK-17914 ] - 如果存档列表失败,HistoryServer 会删除缓存的存档
- [ FLINK-20195 ] - Jobs 端点返回重复的作业
- [ FLINK-20370 ] - sink 主键与查询不同时结果错误
- [ FLINK-21289 ] - 应用程序模式忽略 pipeline.classpaths 配置
- [ FLINK-23919 ] - PullUpWindowTableFunctionIntoWindowAggregateRule 为 Window TVF 生成无效的 Calc
- [ FLINK-24232 ] - 暂停作业的存档可防止中断后续存档尝试
- [ FLINK-24255 ] - 测试环境/迷你集群不转发配置。
- [ FLINK-24310 ] - 文档中 BufferingSink 示例中的错误
- [ FLINK-24318 ] - 将数字转换为布尔值在“选择”字段和“位置”条件之间有不同的结果
- [ FLINK-24334 ] - 配置 kubernetes.flink.log.dir 不起作用
- [ FLINK-24366 ] - 当任务已被取消时,有关还原失败的不必要/误导性错误消息。
- [ FLINK-24401 ] - Metaspace OOM 后 TM 无法退出
- [ FLINK-24465 ] - 缓冲区超时的错误 javadoc 和文档
- [ FLINK-24492 ] - numeric 和 (var)char 之间不正确的隐式类型转换
- [ FLINK-24506 ] - 检查点目录无法通过传递给 StreamExecutionEnvironment 的 Flink 配置进行配置
- [ FLINK-24509 ] - 由于使用了不正确的构造函数签名,FlinkKafkaProducer 示例未编译
- [ FLINK-24540 ] - 修复 Files.list 导致的资源泄漏
- [ FLINK-24543 ] - Zookeeper 连接问题导致 Flink 中的状态不一致
- [ FLINK-24563 ] - 将 timstamp_ltz 与随机字符串进行比较会抛出 NullPointerException
- [ FLINK-24597 ] - RocksdbStateBackend getKeysAndNamespaces 在使用 MapState 时会返回重复数据
- [ FLINK-24621 ] - 由于 InflightDataRescalingDescriptor,JobManager 无法恢复 1.13.1 检查点
- [ FLINK-24662 ] - PyFlink sphinx 检查失败,"节点类 'meta' 已注册,其访问者将被覆盖"
- [ FLINK-24667 ] - 如果之前遇到异常,通道状态编写器将直接失败任务
- [ FLINK-24676 ] - 如果用部分列解释插入语句,则架构不匹配
- [ FLINK-24678 ] - 更正地图状态的度量名称包含延迟
- [ FLINK-24708 ] -
有一个导致错误结果的错误ConvertToNotInOrInRule
- [ FLINK-24728 ] - 批处理 SQL 文件接收器忘记关闭输出流
- [ FLINK-24761 ] - 修复 PartitionPruner 代码生成编译失败
- [ FLINK-24846 ] - AsyncWaitOperator 在 stop-with-savepoint 期间失败
- [ FLINK-24860 ] - 修复 Python UDTF 中错误的位置映射
- [ FLINK-24885 ] - ProcessElement 接口参数收集器:java.lang.NullPointerException
- [ FLINK-24922 ] - 修复单词“parallism”中的拼写错误
- [ FLINK-25022 ] - 通过 REST API 提交作业时,JM 上的 ThreadLocals 的 ClassLoader 泄漏
- [ FLINK-25067 ] - 更正 RocksDB 后台线程的描述
- [ FLINK-25084 ] - 字段名称必须是唯一的。找到重复项
- [ FLINK-25091 ] - 官网文档FileSink orc压缩属性引用错误
- [ FLINK-25096 ] - flink 1.13.2 中的异常 API(/jobs/:jobid/exceptions) 中的问题
- [ FLINK-25199 ] - StreamEdges 在自联合中不是唯一的,它会阻止水印的传播
- [ FLINK-25362 ] - Table Confluent/Avro 文档中的依赖关系不正确
- [ FLINK-25468 ] - 如果本地状态存储和 RocksDB 工作目录不在同一个卷上,则本地恢复失败
- [ FLINK-25486 ] - 当 zookeeper 领导者改变时,Perjob 无法从检查点恢复
- [ FLINK-25494 ] - DefaultOperatorStateBackendSnapshotStrategy#syncPrepareResources 期间重复的元素序列化程序
- [ FLINK-25513 ] - CoFlatMapFunction 需要两个 flat_map 才能产生一些东西
- [ FLINK-25559 ] - SQL JOIN 导致数据丢失
- [ FLINK-25683 ] - 如果表转换为 DataStream 则结果错误,然后在批处理模式下进行窗口处理
- [ FLINK-25728 ] - StreamMultipleInputProcessor 中潜在的内存泄漏
- [ FLINK-25732 ] - Dispatcher#requestMultipleJobDetails 返回不可序列化的集合
改进
- [ FLINK-21407 ] - 明确哪些来源和 API 支持哪些格式
- [ FLINK-20443 ] - ContinuousProcessingTimeTrigger 不会在窗口结束时触发
- [ FLINK-21467 ] - 记录 Bounded{One/Multi}Input.endInput 的可能推荐用法,并强调它们可以被多次调用
- [ FLINK-23842 ] - 为读者注册和拆分请求添加日志消息。
- [ FLINK-24631 ] - 避免直接使用标签作为部署和服务的选择器
- [ FLINK-24739 ] - 在文档中说明 Flink 的应用模式的要求
- [ FLINK-24987 ] - 增强 ExternalizedCheckpointCleanup 枚举
- [ FLINK-25160 ] - 使文档清晰:可容忍失败检查点计数连续失败
- [ FLINK-25415 ] - 实现对 Cassandra 容器连接的重试
- [ FLINK-25611 ] - 移除 CoordinatorExecutorThreadFactory 线程创建保护
- [ FLINK-25818 ] - 添加解释当并行度高于分区数时 Kafka Source 如何处理空闲
技术债务
- [ FLINK-24740 ] - 将 testcontainers 依赖更新到 v1.16.2
- [ FLINK-24796 ] - 从 CI 编译工件中排除
目录javadocs / node[_modules]
- [ FLINK-25472 ] - 更新到 Log4j 2.17.1
- [ FLINK-25375 ] - 将 Log4j 更新到 2.17.0
- [ FLINK-25576 ] - 将 com.h2database:h2 更新为 2.0.206