天天看点

Debezium系列之:重置Sqlserver数据库的LSN拉取历史数据一、需求背景二、理解LSN三、sqlserver offset数据样式

Debezium系列之:重置Sqlserver数据库的LSN拉取历史数据

  • 一、需求背景
  • 二、理解LSN
  • 三、sqlserver offset数据样式
  • 四、写入历史LSN
  • 五、观察历史数据
  • 六、拉取最新数据

一、需求背景

  • 需要重新拉取sqlserver数据库采集表的历史数据
  • 或者connector故障,从指定LSN处拉取历史数据

二、理解LSN

  • 日志序列编号(LSN)是事务日志里面每条记录的编号。

三、sqlserver offset数据样式

ConsumerRecord(topic=‘prod4-qcloud-debezium-offset’, partition=4, offset=53153, timestamp=1676531142993, timestamp_type=0, key=b’[“sqlserver-lmes_prod_1h-connector”,{“server”:“debezium-prod-dd_ods_lmes_prod_1h”}]‘, value=b’{“transaction_id”:null,“event_serial_no”:1,“commit_lsn”:“00000e3a:00003e40:001a”,“change_lsn”:“00000e3a:00003e40:0002”}'

继续阅读