天天看點

Debezium系列之:重置Sqlserver資料庫的LSN拉取曆史資料一、需求背景二、了解LSN三、sqlserver offset資料樣式

Debezium系列之:重置Sqlserver資料庫的LSN拉取曆史資料

  • 一、需求背景
  • 二、了解LSN
  • 三、sqlserver offset資料樣式
  • 四、寫入曆史LSN
  • 五、觀察曆史資料
  • 六、拉取最新資料

一、需求背景

  • 需要重新拉取sqlserver資料庫采集表的曆史資料
  • 或者connector故障,從指定LSN處拉取曆史資料

二、了解LSN

  • 日志序列編号(LSN)是事務日志裡面每條記錄的編号。

三、sqlserver offset資料樣式

ConsumerRecord(topic=‘prod4-qcloud-debezium-offset’, partition=4, offset=53153, timestamp=1676531142993, timestamp_type=0, key=b’[“sqlserver-lmes_prod_1h-connector”,{“server”:“debezium-prod-dd_ods_lmes_prod_1h”}]‘, value=b’{“transaction_id”:null,“event_serial_no”:1,“commit_lsn”:“00000e3a:00003e40:001a”,“change_lsn”:“00000e3a:00003e40:0002”}'

繼續閱讀