天天看點

兩行代碼修複了解析MySQL8.x binlog錯位的問題!!

問題修複

今天太晚了,我還在研究MySQL 8.0.20的源碼,問題的修複過程後續再寫一篇詳細的文章來與小夥伴們分享下。這裡,我就直接說我是如何解決這個問題的。

MySQL5.x binlog的解析結果與MySQL8.x binlog的解析結果總是存在位數偏差,架構原本的代碼直接解析MySQL 5.x是沒啥問題的,在解析MySQL 8.x的時候出現位數錯位的問題。

期間,我幾乎翻閱了MySQL的所有官方文檔,把mykit-data中關于解析binlog日志的功能重新寫了一遍,解析MySQL5.x沒問題,解析MySQL8.x還是錯位。

到底哪裡出了問題呢?就在對于問題的解決一籌莫展的時候,突然,想到一個思路:解決MySQL8.x binlog的時候不是總錯位嗎?那我就把多餘位數的binlog資料讀取出來,直接忽略掉,使後續binlog的解析操作對齊不就行了嗎?

趕緊嘗試一下,于是我在mykit-data架構的源碼中,添加了如下代碼。

兩行代碼修複了解析MySQL8.x binlog錯位的問題!!

上面代碼是對解析MySQL binlog位數的校驗和讀取的封裝,當讀取的binlog位數未達到讀取的限制位數時,一直讀取binlog的資料,直到讀取的binlog位數達到讀取的限制位數位置。具體内部的邏輯,小夥伴們可以閱讀mykit-data的源碼。

加上這個邏輯後,進行測試驗證,解析MySQL 8.x資料庫的binlog竟然成功了!!困擾我幾天的問題就這麼在不經意間解決了!!

從解決這個問題的結果來看,MySQL8.x的binlog在本質上比MySQL5.x的binlog位數要長,中間會拼接用來分隔不同僚件位的辨別,我們在解析MySQL8.x的binlog日志時,可直接忽略掉這些分隔不同僚件位的辨別,目的就是讓binlog的解析位對齊,進而能夠正确的解析出下一個事件。而這樣處理,也不會影響解析結果。

很多時候就是這樣,當你苦于解決某個問題,遲遲找不到解決方案而一籌莫展時,在某個不經意的瞬間,就會無意中解決這個棘手的問題,但前提是你需要深刻了解它的原理并嘗試各種方式和方法來解決它!

關于mykit-data

mykit-data是一款完全開源的資料異構中間件,支援插件化、可視化的資料異構架構,支援MySQL到MySQL、MySQL到Oracle、Oracle到MySQL、Oracle到Oracle的全量、實時/定時增量資料同步。完全的插件化、可視化操作。通過日志最大限度的避免同步過程中的資料丢失。支援失敗重試,人工幹預,支援檢視同步的資料和詳細的日志資訊。

目前支援MySQL5.x、MySQL8.x,Oracle 11g及以上版本。後續會以插件的形式支援更多的異構資料源。例如,後續會增加:SQL Server、Postgre SQL、Redis、ES、Hadoop、HBase、MongoDB、TiDB等資料源。

mykit-data的開源位址如下:

GitHub:

https://github.com/sunshinelyz/mykit-data

Gitee:

https://gitee.com/binghe001/mykit-data

最後,小夥伴們為這款開源項目點個Star呀!!對于架構有啥意見和建議,或者有啥需求,都可以在文末留言呀!