大家好，我是冰河~~
MySQL幾乎成為網際網路行業使用的最多的開源關系型資料庫，正因如此，MySQL也成為各大網際網路公司面試中必問的資料庫，尤其是MySQL中的事務實作機制和三大核心日志的實作原理。
有關MySQL的事務實作機制小夥伴們可以參見冰河出版的《深入了解分布式事務：原理與實戰》一書。
今天，我們就重點聊聊MySQL三大核心日志的實作原理。
文章已收錄到：
https://github.com/sunshinelyz/technology-binghe https://gitee.com/binghe001/technology-binghe
MySQL日志
說起MySQL的日志，有三種類型的日志對于MySQL來說是至關重要的，這三種日志分别為：Binlog、Undo Log 和 Redo Log。
由于Binlog和UndoLog有類似的地方，是以，我們按照如下順序依次介紹MySQL中的三大日志原理：Undo Log——> Redo Log ——> Binlog。
Undo Log日志
什麼是Undo Log
顧名思義，Undo Log的字面意思就是撤銷操作的日志，指的是使MySQL中的資料回到某個狀态。
在MySQL資料庫中，事務開始之前，MySQL會将待修改的記錄儲存到Undo Log中，如果資料庫崩潰或者事務需要復原時，MySQL可以通過利用Undo Log日志，将資料庫中的資料復原到之前的狀态。
MySQL新增、修改和删除資料時，在事務開始前，就會将資訊寫入Undo Log中。事務送出時，并不會立刻删除Undo Log， InnoDB存儲引擎會将事務對應的Undo Log放入待删除清單中，之後會通過背景的purge thread對待删除的清單進行删除處理。
這裡，值得注意的是：Undo Log是一種 邏輯日志， 記錄的是一個變化過程。比如，MySQL執行一個delete操作，Undo Log就會記錄一個insert操作；MySQL執行一個insert操作，Undo Log就會記錄一個delete操作；MySQL執行一個update操作，Undo Log就會記錄一個相反的update操作。
Undo Log以段的方式來管理和記錄日志資訊，在InnoDB存儲引擎的資料檔案中，包含了一種叫做rollback segment的復原段，其内部包含了1024個undo log senment。
Undo Log作用
Undo Log對于MySQL實作事務來說，起着至關重要的作用，它實作了事務的原子性和多版本并發控制，也就是我們經常說的MVCC。
- 實作事務的原子性
Undo Log能夠實作MySQL事務的原子性，在事務的處理過程中，如果MySQL出現了錯誤或者使用者手動執行了事務的復原操作（執行了rollback操作），MySQL可以利用Undo Log日志将資料庫中的資料恢複到之前的狀态。
- 實作MVCC機制
Undo Log在MySQL的InnoDB存儲引擎中實作了多版本并發控制（MVCC）機制。
為了友善大家了解，這裡，我将MVCC的具體實作進行了簡化，後續會單獨寫一篇MVCC的具體實作過程的文章。
事務未送出前，Undo Log儲存了未送出之前的版本資料，Undo Log中的資料可以作為舊版本資料的副本或者快照以便其他并發事務進行讀取操作。
事務A手動開啟事務後，對goods資料表中id為1的資料進行更新操作，首先會把更新命中的資料寫入到Undo Buffer中。
在事務A未送出之前，此時，事務B手動開啟事務，對goods資料表中的id為1的資料進行查詢操作，此時的事務B會讀取Undo Log中的資料并傳回給用戶端，這就是MySQL中的MVCC機制。
可以在MySQL中通過下面的指令來檢視控制Undo Log日志的參數。
show variables like '%innodb_undo%'; Redo Log日志
說了MySQL中的Undo Log，我們再來看看MySQL中的Redo Log日志。
什麼是Redo Log
顧名思義Redo Log的字面意思就是重做日志，指的是在資料庫出現意外情況時能夠對重新執行某種操作。在MySQL中，事務中修改的任何資料，都會将最新的資料寫入Redo Log中進行備份。
在MySQL中，随着事務操作的執行，就會産生Redo Log日志，在事務送出時會産生Redo Log并将其寫入Redo Buffer，Redo Buffer也并不是随着事務的送出就會被立刻寫入到磁盤中，而是等事務操作的髒頁寫入到磁盤之後，Redo Log的使命也就完成了，此時，Redo Log日志占用的空間可以重新利用，會被後續産生的Redo Log日志覆寫。
Redo Log的原理
Redo Log 能夠實作事務的持久性，防止在發生故障的時間點，有髒頁未寫入表的 ibd 檔案中，在重新開機 MySQL 服務的時候，根據 Redo Log 進行重做，進而将未送出的事務進行持久化。這個過程可以簡化為下圖所示。
Redo Log的寫機制
Redo Log檔案的内容是以順序循環的方式寫入檔案的，寫滿時就會回到第一個檔案，進行覆寫寫。
- Write Pos 是目前記錄的位置，一邊寫一邊後移，寫到最後一個檔案末尾後就回到 0 号檔案開頭；
- CheckPoint是目前要擦除的位置，也是往後推移并且循環的，擦除記錄前要把記錄更新到數 據檔案；
Write Pos 和 CheckPoint之間還空着的部分，可以用來記錄新的操作。如果 Write Pos 追上 CheckPoint，表示已經寫滿，此時就需要向後移動CheckPoint來擦除資料。
每個InnoDB存儲引擎至少有1個重做日志檔案組（group），每個檔案組至少有2個重做日志檔案，預設為ib_logfile0和ib_logfile1 。
可以在MySQL中通過如下指令來檢視控制Redo Log的參數。
show variables like '%innodb_log%'; Redo Log寫入機制
在Redo Log日志資訊從Redo Buffer持久化到Redo Log時，具體的持久化政策可以通過innodb_flush_log_at_trx_commit 參數進行設定，具體政策如下所示。
- 0：每秒送出 Redo buffer ->OS cache -> flush cache to disk，可能丢失一秒内的事務資料。由背景Master線程每隔 1秒執行一次操作。
- 1（預設值）：每次事務送出執行 Redo Buffer -> OS cache -> flush cache to disk，這種方式最安全，性能最差。
- 2：每次事務送出執行 Redo Buffer -> OS cache，然後由背景Master線程再每隔1秒執行OS cache -> flush cache to disk 的操作。
一般建議選擇取值2，因為 MySQL 挂了資料沒有損失，整個伺服器挂了才會損失1秒的事務送出資料。
Binlog日志
什麼是Binlog
Binlog記錄所有MySQL資料庫表結構變更以及表資料修改的二進制日志，不會記錄select和show這類查詢操作的日志。Binlog日志是以事件形式記錄，還包含語句所執行的消耗時間。開啟Binlog日志有以下兩個最重要的使用場景。
- 主從複制：在主庫中開啟Binlog功能，這樣主庫就可以把Binlog傳遞給從庫，從庫拿到Binlog後實作資料恢複達到主從資料一緻性。
- 資料恢複：通過mysqlbinlog等工具來恢複資料
關于Binlog的使用場景可以參見冰河出版的《深入了解分布式事務：原理與實戰》與《MySQL技術大全：開發、優化和運維實戰》一書。
Binlog檔案記錄模式
Binlog檔案記錄模式有STATEMENT、ROW和MIXED三種，具體含義如下。
ROW模式
ROW（row-based replication, RBR）：日志中會記錄每一行資料被修改的情況，然後在slave端對相同的資料進行修改。
優點：能清楚記錄每一個行資料的修改細節，能完全實作主從資料同步和資料的恢複。
缺點：批量操作，會産生大量的日志，尤其是alter table會讓日志暴漲。
STATMENT模式
STATMENT（statement-based replication, SBR）：每一條被修改資料的SQL都會記錄到master的Binlog中，slave在複制的時候SQL程序會解析成和原來master端執行過的相同的SQL再次執行。簡稱SQL語句複制。
優點：日志量小，減少磁盤IO，提升存儲和恢複速度
缺點：在某些情況下會導緻主從資料不一緻，比如last_insert_id()、now()等函數。
MIXED模式
MIXED（mixed-based replication, MBR）：以上兩種模式的混合使用，一般會使用STATEMENT模式儲存binlog，對于STATEMENT模式無法複制的操作使用ROW模式儲存binlog，MySQL會根據執行的SQL語句選擇寫入模式 。
Binlog檔案結構
對于MySQL的Binlog檔案結構有三種版本，見下圖。
關于Binlog檔案結構的具體資訊，小夥伴們可以參考MySQL的官方文檔，具體連結為：https://dev.mysql.com/doc/internals/en/event-header-fields.html
Binlog寫機制
根據記錄模式和操作觸發event事件生成log event（事件觸發執行機制）。
将事務執行過程中産生的日志時間（log event）寫入緩沖區，每個事務線程都有一個緩沖區。Log Event儲存在一個binlog_cache_mngr資料結構中，在該結構中有兩個緩沖區，一個是stmt_cache，用于存放不支援事務的資訊；另一個是trx_cache，用于存放支援事務的資訊。
事務在送出階段會将産生的log event寫入到外部binlog檔案中。不同僚務以串行方式将log event寫入Binlog檔案中，是以一個事務包含的log event資訊在binlog檔案中是連續的，中間不會插入其他事務的log event。
Binlog檔案操作
Binlog狀态檢視
show variables like 'log_bin'; 開啟Binlog功能，需要修改my.cnf或my.ini配置檔案，在[mysqld]下面增加log_bin=mysql_bin_log，重新開機 MySQL服務。
binlog-format=ROW
log-bin=mysqlbinlog 使用show binlog events指令
show binary logs; //等價于show master logs;
show master status;
show binlog events;
show binlog events in 'mysqlbinlog.000001'; 使用mysqlbinlog 指令
mysqlbinlog "檔案名"
mysqlbinlog "檔案名" > "test.sql" 使用 binlog 恢複資料
//按指定時間恢複
mysqlbinlog --start-datetime="2021-02-28 18:00:00" --stopdatetime="2021-03-01 00:00:00" mysqlbinlog.000001 | mysql -uroot -p123456
//按事件位置号恢複
mysqlbinlog --start-position=1789 --stop-position=2674 mysqlbinlog.000001
| mysql -uroot -p123456 删除Binlog檔案
purge binary logs to 'mysqlbinlog.000001'; //删除指定檔案
purge binary logs before '2021-03-01 00:00:00'; //删除指定時間之前的檔案
reset master; //清除所有檔案 可以通過設定expire_logs_days參數來啟動自動清理功能。預設值為0表示沒啟用。設定為大于0的整數表示超出多少天binlog檔案會自動清除。
更多有關于Binlog日志的資訊，可以參考冰河出版的《深入了解分布式事務：原理與實戰》與《MySQL技術大全：開發、優化與運維實戰》一書。
好了，今天就到這兒吧，我是冰河，我們下期見~~
好了，今天就到這兒吧，我是冰河，我們下期見~~
寫在最後
如果你想進大廠，想升職加薪，或者對自己現有的工作比較迷茫，都可以私信我交流，希望我的一些經曆能夠幫助到大家~~
推薦閱讀：
- 《實踐出真知：全網最強秒殺系統架構解密，不是所有的秒殺都是秒殺！！》
- 《從零到上億使用者，我是如何一步步優化MySQL資料庫的？（建議收藏）》
- 《我用多線程進一步優化了億級流量電商業務下的海量資料校對系統，性能再次提升了200%！！（全程幹貨，建議收藏）》
- 《我用多線程優化了億級流量電商業務下的海量資料校對系統，性能直接提升了200%！！（全程幹貨，建議收藏）》
- 《我用10張圖總結出了這份并發程式設計最佳學習路線！！（建議收藏）》
- 《高并發場景下一種比讀寫鎖更快的鎖，看完我徹底折服了！！（建議收藏）》
- 《全網最全性能優化總結！！（冰河吐血整理，建議收藏）》
- 《三天撸完了MyBatis，各位随便問！！（冰河吐血整理，建議收藏）》
- 《奉勸那些剛參加工作的學弟學妹們：要想進大廠，這些并發程式設計知識是你必須要掌握的！完整學習路線！！（建議收藏）》
- 《奉勸那些剛參加工作的學弟學妹們：要想進大廠，這些核心技能是你必須要掌握的！完整學習路線！！（建議收藏）》
- 《奉勸那些剛參加工作的學弟學妹們：這些計算機與作業系統基礎知識越早知道越好！萬字長文太頂了！！（建議收藏）》
- 《我用三天時間開發了一款老少皆宜的國民級遊戲，支援播放音樂，現開放完整源代碼和注釋（建議收藏）！！》
- 《我是全網最硬核的高并發程式設計作者，最值得關注的部落客，大家同意嗎？（建議收藏）》
- 《畢業五年，從月薪3000到年薪百萬，我掌握了哪些核心技能？（建議收藏）》
- 《我入侵了隔壁妹子的Wifi，發現。。。（全程實戰幹貨，建議收藏）》
- 《千萬不要輕易嘗試“熊貓燒香”，這不，我後悔了！》
- 《清明節偷偷訓練“熊貓燒香”，結果我的電腦為熊貓“獻身了”！》
- 《7.3萬字肝爆Java8新特性，我不信你能看完！（建議收藏）》
- 《在業務高峰期拔掉伺服器電源是一種怎樣的體驗？》
- 《全網最全Linux指令總結！！（史上最全，建議收藏）》
- 《用Python寫了個工具，完美破解了MySQL！！（建議收藏）》
- 《SimpleDateFormat類到底為啥不是線程安全的？（附六種解決方案，建議收藏）》
- 《MySQL 8中新增的這三大索引，直接讓MySQL起飛了，你竟然還不知道！！（建議收藏）》
- 《撸完Spring源碼，我開源了這個分布式緩存架構！！（建議收藏）》
- 《億級流量高并發秒殺系統商品“超賣”了，隻因使用的JDK同步容器中存在這兩個巨大的坑！！（踩坑實錄，建議收藏）》
- 《奉勸那些剛參加工作的學弟學妹們：要想學好并發程式設計，這些并發容器的坑是你必須要注意的！！（建議收藏）》
- 《公司的報表工具太難用，我三天撸了個Excel工具，營運小姐姐直呼太好用了，現已開源！！（建議收藏）》
- 《奉勸那些剛參加工作的學弟學妹們：要想進大廠，這些并發程式設計核心技能是你必須要掌握的！！（建議收藏）》
- 《阿裡面試官：高并發大流量秒殺系統如何正确的解決庫存超賣問題？（建議收藏）》
- 《Redis五大資料類型與使用場景彙總！！（含完整實戰案例，建議收藏）》