Debezium系列之:实现增量快照incremental技术的详细步骤
- 一、Debezium增量快照技术
- 二、增量快照过程
- 三、创建信号表
- 四、增加增量快照属性
- 五、修改快照数据事件类型
- 六、完整connector配置
- 七、激活增量快照
- 八、增量快照参数详解
- 九、消费topic查看数据
- 十、再次触发增量快照
- 十一、增量快照增加条件筛选数据
一、Debezium增量快照技术
- 为了提供管理快照的灵活性,Debezium 包括一个补充快照机制,称为增量快照。增量快照依赖 Debezium 机制将信号发送到 Debezium 连接器。
- 在增量快照中,Debezium 不是像在初始快照中那样一次捕获数据库的完整状态,而是在一系列可配置的块中分阶段捕获每个表。您可以指定希望快照捕获的表以及每个块的大小。块大小决定了在对数据库执行每次提取操作期间快照收集的行数。增量快照的默认块大小为 1 KB。
- 随着增量快照的进行,Debezium 使用水印来跟踪其进度,维护它捕获的每个表行的记录。与标准的初始快照过程相比,这种分阶段的数据捕获方法具有以下优势