mongo資料全量遷移mysql/tidb

後續若有更新不會更新部落格,隻會更新筆記,部落格隻做備份

https://www.wolai.com/mrll/gJa7WNrhaJAN7pKJRZCe4v?theme=light

公司環境由于mongo被濫用,導緻負載很大,要針對業務進行mongo至tidb的全量遷移,其中在mongo中手動的分表需合并為一張表,如a_1,a_2,a_3,a_4遷移至tidb後統一為a表

代碼開啟雙寫+id記錄補償

全量遷移

雙讀校驗

雙讀和雙寫及代碼補償都是業務傾入的代碼,就不做介紹

這裡隻介紹如何進行mongo導入到mysql(tidb)

通過​​MongoExportUtil​​進行mysql建表,建索引,擷取導出語句

mongo導出的表需要進行特殊處理

1.object處理

2.document處理

通過​​tidb-lightning​​進行導入