天天看点

Debezium系列之:实现增量快照incremental技术的详细步骤一、Debezium增量快照技术

Debezium系列之:实现增量快照incremental技术的详细步骤

  • 一、Debezium增量快照技术
  • 二、增量快照过程
  • 三、创建信号表
  • 四、增加增量快照属性
  • 五、修改快照数据事件类型
  • 六、完整connector配置
  • 七、激活增量快照
  • 八、增量快照参数详解
  • 九、消费topic查看数据
  • 十、再次触发增量快照
  • 十一、增量快照增加条件筛选数据

一、Debezium增量快照技术

  • 为了提供管理快照的灵活性,Debezium 包括一个补充快照机制,称为增量快照。增量快照依赖 Debezium 机制将信号发送到 Debezium 连接器。
  • 在增量快照中,Debezium 不是像在初始快照中那样一次捕获数据库的完整状态,而是在一系列可配置的块中分阶段捕获每个表。您可以指定希望快照捕获的表以及每个块的大小。块大小决定了在对数据库执行每次提取操作期间快照收集的行数。增量快照的默认块大小为 1 KB。
  • 随着增量快照的进行,Debezium 使用水印来跟踪其进度,维护它捕获的每个表行的记录。与标准的初始快照过程相比,这种分阶段的数据捕获方法具有以下优势࿱

继续阅读