Debezium系列之:重置Sqlserver資料庫的LSN拉取曆史資料
- 一、需求背景
- 二、了解LSN
- 三、sqlserver offset資料樣式
- 四、寫入曆史LSN
- 五、觀察曆史資料
- 六、拉取最新資料
一、需求背景
- 需要重新拉取sqlserver資料庫采集表的曆史資料
- 或者connector故障,從指定LSN處拉取曆史資料
二、了解LSN
- 日志序列編号(LSN)是事務日志裡面每條記錄的編号。
三、sqlserver offset資料樣式
ConsumerRecord(topic=‘prod4-qcloud-debezium-offset’, partition=4, offset=53153, timestamp=1676531142993, timestamp_type=0, key=b’[“sqlserver-lmes_prod_1h-connector”,{“server”:“debezium-prod-dd_ods_lmes_prod_1h”}]‘, value=b’{“transaction_id”:null,“event_serial_no”:1,“commit_lsn”:“00000e3a:00003e40:001a”,“change_lsn”:“00000e3a:00003e40:0002”}'