天天看點

技本功|資料安全之IDC資料容災設計實作

近年來,資料安全問題日漸受到大家的關注,對于任何一家企業,資料無疑是最重要的資産之一。提到資料容災,大家可能會想到備庫和備份的概念,那麼我們先來談談備庫與備份的差別。

備庫與備份的差別

通常來講,備庫更側重于保障服務的可用性,旨在當主庫不可用時進行服務接管,進而確定故障發生後,能夠在極短時間内繼續擁有對外提供服務的能力;

而備份則側重于保障資料的可靠性,其重大意義在于将資料檔案進行離線備援操作,當出現人為誤操作或者不可逆故障的時候,能夠使用副本進行資料的重放。

由此可見,備庫與備份不可相提并論,同時也都是進行資料容災規劃中不可或缺的部分。下面的兩張圖檔很好的诠釋了這個觀點。

技本功|資料安全之IDC資料容災設計實作

IDC資料容災方案

雲掣科技IDC資料容災方案基于自研EasyDO平台實作,通過一鍵式配置實作資料高可用、資料備份、及備份容災轉儲。在這整個體系中,主備庫、備份、容災備份構成了多份資料副本。EasyDO負責整體的任務配置、任務排程、運維監控、以及多資料副本管控。整體邏輯架構圖如下:

技本功|資料安全之IDC資料容災設計實作

01高可用設計

高可用方案基于MySQL原生半同步複制+keepalived技術實作,主備庫部署于不同實體機。通過内置的腳本實作安全切換,通過vip機制達到透明切換的目的。

核心實作邏輯如下:

平台巡檢ha配置庫

記錄時間戳以及切換标志位,用于進行讀寫檢測以及維護切換流程。

技本功|資料安全之IDC資料容災設計實作
技本功|資料安全之IDC資料容災設計實作

執行個體檢測機制

除了需要檢測是否能擷取連接配接外,還要進行讀寫檢測。

技本功|資料安全之IDC資料容災設計實作

安全切換

同機房半同步複制保證傳輸延時的問題,當存在應用延時的備庫提升為主庫的情況時,需要等待日志應用完成;若複制中斷,則不發生切換。

技本功|資料安全之IDC資料容災設計實作

02資料備份

備份底層基于xtrabackup實作,通過EasyDO平台可做到一鍵全自動備份;雲掣科技DBA團隊根據使用者執行個體資料量、運作情況、以及業務負荷峰谷規律制定備份政策。

技本功|資料安全之IDC資料容災設計實作

03備份容災

容災通過EasyDO的異地備份功能實作,目前已成熟支援OSS存儲或異地FTP伺服器的接入。

備份任務完成後,備份檔案實時上傳至異地FTP伺服器或OSS存儲,實作資料多份存儲,保障資料可靠性。

技本功|資料安全之IDC資料容災設計實作
技本功|資料安全之IDC資料容災設計實作

04運維監控

每台資料庫主機獨立安裝EasyDO agent程式,實時采集備份資訊以及主備複制資訊,并實時上報給服務端。

服務端對上報資料進行統計分析并生成圖表,雲掣科技DBA團隊基于EasyDO 平台進行每日資料備份巡檢核查。

當資料備份或轉儲,以及複制狀态出現異常時,會觸發平台告警,提醒DBA團隊進行排查處理。

EasyDO運維監控方案整體邏輯架構圖如下:

技本功|資料安全之IDC資料容災設計實作

恢複演練

為避免由于備份媒體或檔案損壞、備份資料不完整等,而導緻将來可能存在的無法恢複資料的情況,雲掣科技DBA團隊制定恢複演練計劃,定期開展演練并記錄演練過程,以此確定備份檔案可用性以及備份政策的正确性。通過模拟自然或人為的故障,來校驗目前系統的資料安全級别。通過恢複演練提高未來可能出現的資料恢複過程的高效性和準确性。

01演練準備

伺服器準備:作業系統、資料磁盤

軟體包準備:MySQL安裝,xtrabackup安裝

02正常資料恢複

通過本地全備檔案中的最新備份進行資料庫執行個體級别恢複,以應對執行個體級别的故障,或者不可逆drop操作。将IDC機房備份檔案傳輸至恢複伺服器在恢複伺服器進行全量資料恢複。

技本功|資料安全之IDC資料容災設計實作

03時間點恢複

在本地binlog檔案儲存完好,且未出現實體或邏輯損壞的情況下。可将整個執行個體恢複至比指定備份檔案更新的某個時間點狀态。

  • 将備份檔案以及備份時間點之後的binlog檔案傳輸至恢複伺服器。
  • 通過備份檔案進行全量恢複。
  • 通過應用binlog日志進行增量恢複至故障前的時間點。
    技本功|資料安全之IDC資料容災設計實作

04大型故障恢複

當出現重大伺服器級别故障或者由于自然災害導緻的機房級别的故障,導緻本地資料庫無法通路以及備份檔案丢失的情況時;可以通過異地備份檔案進行資料恢複。

  • 從異地災備機房下載下傳備份檔案至恢複伺服器。
  • 恢複伺服器本地進行全量資料恢複。
    技本功|資料安全之IDC資料容災設計實作

寫在最後

造成資料丢失和毀壞的原因主要有以下幾個方面:

  • 程式設計設計缺陷
  • 系統硬體故障
  • 人為失誤操作
  • 網絡安全攻擊
  • 機房故障

    如果沒有做好備份,一旦資料損毀,會嚴重影響企業正常業務的開展,給生産造成巨大的損失。資料庫備份及備庫是企業資料高可靠及業務高可用的重要保障,也是預防主動性攻擊的安全屏障。做好資料容災是企業IT運維必不可少的重要環節。

了解更多

資料庫容災方案