本文分享自華為雲社群《其疾如風，GaussDB（DWS）增量備份核心設計-雲社群-華為雲》，作者： 我的橘子呢 。
1.認識增量備份
GaussDB(DWS)數倉的備份恢複工具Roach支援叢集級增量備份。全量備份會将源資料完整備份，而增量備份僅将上次備份後所作的更改進行備份，這裡的上次備份可以使全量備份，也可以是全量備份後的增量備份。需要注意的是，增量備份的基礎始終是全量備份，如果一次全量備份之後進行了全量恢複，則不能再基于該全量備份進行增量備份，必須重新進行全量備份然後基于新的全量備份進行增量備份。增量備份分為兩種：累積增量備份和差分增量備份。
累積增量備份：如果一次全量備份後的多次增量備份，指定的prior-backup-key始終為全量備份的backup-key，即所有的增量備份都是基于全量備份來進行的，那麼這些增量備份就是累積增量備份，累積增量備份均是基于最近一次全量備份進行的，如圖1所示。
圖1 累積增量備份示意圖
差分增量備份：如果一次全量備份後的多次增量備份，指定的prior-backup-key均為上一次備份（可能是全量備份也可能增量備份）的backup-key，即此次備份是基于上一次備份集來進行的，那麼這些增量備份就是差分增量備份，差分增量備份均是基于最近一次備份進行的，如圖2所示。
圖2 差分增量備份示意圖
2.增量備份之CBM設計
增量備份隻需要備份上一備份節點到目前時間發生變化的資料檔案，為了實作備份資料的完整性與一緻性，正确識别并備份增量資料檔案是至關重要的，作為增量備份的核心設計，Gauss資料庫核心的事務日志功能與cbm設計可以幫助Roach工具快速準确識别增量期間資料檔案的變換資訊，為快速準确完成增量備份提供了有力保障。
(1)WAL與事務日志
為了保證資料的一緻性和完整性，在對資料進行相關操作之前都會将具體的操作記錄下來，持久化到可靠存儲中，然後再進行具體的資料操作，這就是所謂的WAL（Write Ahead Logging），記錄的相關操作稱為XLOG日志，每一條日志記錄都由LSN進行唯一辨別。這樣做的好處是事物的記錄被提前記錄并儲存起來，在因一些外部原因（比如斷電、作業系統失敗等）導緻操作失敗後，我們可以通過儲存的事物日志将這些操作重新執行一遍，保證資料不會丢失。相關操作如圖3所示。
圖3 WAL操作示意圖
(2)Checkpoint操作
當系統運作時間較長的時候，由于操作較多，日志檔案的數量也較多。如果每次利用日志進行恢複操作都會耗費大量的時間，為了節約時間同時減少不必要的恢複操作，引入了checkpoint的概念。checkpoint表示在此操作之前，相關資料已經被儲存到永久存儲中，即使系統故障，這部分資料也不會丢失，是以恢複的時候隻要從checkpoint操作之後根據日志執行恢複操作就可以了。checkpoint本身也是一條xlog記錄，該記錄包含了redo點的位置，是以，每次恢複資料時，先從xloh記錄裡找到最近的一次checkpoint記錄，并根據該記錄找到相應的redo點位置，這就是執行本次恢複的起始點位置。如圖4所示，checkpoint操作記錄了redo點的位置。
圖4 Checkpoint操作示意圖
(3)CBM設計
基于上述功能，由于資料的所有變化都被記錄在了xlog中，Gauss資料庫核心通過增加常駐的CBM writer線程，持續不斷地對新增的xlog進行解析，識别并記錄哪些資料資料頁面被修改。CBM記錄的生成過程如圖5所示。
圖5 CBM生成示意圖
CBM writer線程的工作流程為：
-
程序啟動時即開啟CBM writer功能
在startup線程剛啟動時，其根據已經解析出來的CBM檔案，來決定CBM writer開始解析的起始LSN位置。每次執行到checkpoint末尾是，會設定CBM writer線程的latch。CBM writer線程等待latch被設定，然後進行一輪日志解析。
-
通過動态reload GUC參數，開啟CBM writer功能
由于是動态開啟的CBM writer功能，是以startup線程沒有初始化CBM解析的起始位置。打開enable_cbm_writer開關的同時，會将CBM強制初始化的标志置為true。當CBM writer線程啟動之後，其第一次解析中，會強制初始化獲得解析的起始lsn。
(4)CBM檔案的命名格式
CBM檔案儲存在data目錄的pg_cbm檔案夾下，命名方式為：pg_xlog_seqnum_startlsn_endlsn.cbm。如圖6所示。
圖6 CBM檔案格式
- seqnum檔案序号表示這是第幾個cbm檔案，當一個cbm檔案的大小超過100M時，将會切換到下一個cbm檔案，并将seqnum加1。
- startlsn為本cbm檔案内容對應xlog記錄的起始lsn；
- endlsn為本cbm檔案切換時最後一次解析的截止lsn，若一個cbm檔案還沒有切換，那麼endlsn為0。
(5)CBM對外接口函數
a. pg_cbm_tracked_location
- 說明：用于查詢cbm已經解析到的lsn位置
- 入參：無
- 傳回值：cbm已經解析到的lsn位置
b. pg_cbm_get_merged_file
- 說明：用于将指定lsn範圍之内的cbm檔案合并成一個cbm檔案
- 入參：startlsn，指定的起始lsn；endlsn，指定的結束lsn
- 傳回值：合并完的cbm檔案名
c. pg_cbm_get_changed_block
- 說明：用于将指定lsn範圍之内的cbm檔案合并一個表，并傳回表的各行記錄
- 入參：startlsn，指定的起始lsn；endlsn，指定的結束lsn
- 傳回值：合并完的表的記錄，表的結構如下
d. pg_cbm_recycle_file
- 說明：删除不再使用的cbm檔案
- 入參：lsn，删除該lsn以前的cbm檔案
- 傳回值：删除截止的lsn
3.CBM使用實踐
(1)找到目前xlog的LSN位置，并将cbm的解析位置設定為該LSN的位置。
圖7 設定CBM解析起始位置
(2)插入資料後擷取目前cbm解析位置。
圖8 設定CBM解析終止位置
(3)根據插入後資料前後的CBM解析位置，擷取變化的資料檔案，擷取相關資訊。
圖9 擷取變化資料檔案
4.總結
增量備份是重要的正常備份政策，正确快速識别增量變化檔案的相關資訊對增量備份至關重要。作為增量備份的核心設計，事務日志和CBM相關功能為增量備份的快速高效進行提供了有力支撐，本文對CBM的相關設計進行了介紹，并利用CBM的對外接口示範了CBM的相關功能。
點選下方，第一時間了解華為雲新鮮技術~
華為雲部落格_大資料部落格_AI部落格_雲計算部落格_開發者中心-華為雲