作者:延瑛,阿裡雲資料庫進階技術專家
1、有“備”方可無患
今年黑天鵝事件接踵而至,世界範圍史無前例的新冠疫情,原油和諸多因素引發美股8天3次熔斷,蝗蟲,澳洲火災等等,誰也不知道今年還會有什麼發生。
網際網路行業今年也經曆了幾次黑天鵝事件:

有些人可能心存僥幸,惡性事件沒有發生在自己身上。然而《随機漫步的傻瓜》提出了一個觀點:你的成功不見得是因為比其他人高明,而很可能是運氣的結果。随機現象比比皆是,大起大落隻是發生在須臾之間。
最大的風險,不是你想到的風險,而是你做夢也想不到的巨大風險。曆史表明,最大風險往往是“黑天鵝”事件。
很多網際網路企業對資料庫的資料安全意識不強,還沒有充分意識到資料是企業的核心資産。企業資料庫的資料是企業日常營運的心血。既有可能因為程式日常疊代帶來的bug,導緻資料庫資料寫髒,也有可能因為員工出現異常情緒,頂着極大法律風險删庫跑路。不論是意外影響還是有意破壞,都有可能導緻這份核心資産不可用,日常工作功虧一篑。
資料庫備份是保護這份核心資料資産的有效保護手段。制定嚴謹的備份計劃,可以讓你優雅的掌控随機現象,不需要靠一兩個英雄人物力挽狂瀾。
微盟和某雲廠商花了整整7天才搶救恢複了所有資料,力挽狂瀾值得稱贊,但是更需要深思,畢竟力挽狂瀾仍然有可能結果不如人意。
備份安全措施應做到日正常劃中,成為重要而不緊急的事情,根據企業定義的目标和節奏逐漸完成。
2、有效的資料庫備份政策
備份恢複的方案很多,下面是SHARE提出來的7層恢複能力,能力越強,價值越高,成本也越高。備份恢複有很強的專業性,尤其是在資料庫領域,資料的一緻性,任意時間點恢複,表級别甚至行級别的恢複,恢複的操作流程等都是難點。不同的平台上不同的資料庫的備份方案也不盡相同。
[SHARE 7層恢複能力](
https://en.wikipedia.org/wiki/Business_continuity_planning#cite_note-33)
備份政策通常遵循321原則(也叫3R原則):
1、Redundancy:同一資料至少保留三份,包括原資料;
2、Replication:儲存到二種以上存儲媒體上,比如CD光牒、硬碟、雲存儲;
3、Remote:至少有一份異地備份,本地災難後還可恢複。
資料庫備份是較為專業的備份領域,需要關注備份的可恢複性,一緻性,RPO,RTO等等。
資料庫跟普通檔案不同,由于資料庫有緩存,事務,日志的機制,直接備份資料庫所有的磁盤檔案,恢複時可能根本打不開資料庫。
RPO跟備份政策有關系,最近一次的備份排程周期影響了最近可用的恢複點,同時資料庫日志的備份可以幫助實作任意時間點的恢複。
RTO跟備份方式和恢複政策有關,業界最強可以做到任意大庫(甚至是分布式資料庫)秒級恢複,在本文後面會介紹到秒級恢複。
3、資料庫備份的分類
通常備份廠商提供的資料庫備份都是實體備份,實際上,根據備份資料的擷取方式,資料庫備份可以分為邏輯備份和實體備份。
- 實體備份:将資料庫的資料檔案和日志檔案備份出來,需要借助資料庫的備份恢複接口、作業系統的增量資料擷取方法以及一緻性保障方法進行備份,難點在于如何無入侵擷取全量和增量資料。如果把資料庫以檔案的方式備份出來,那麼這個資料庫大機率是拉不起來的。一些商業資料庫如Oracle等備份恢複内容和流程較為複雜,需要豐富的資料庫運維經驗。
- 邏輯備份:将資料庫的全量和實時增量資料轉化成一種中間格式,恢複到不同版本和不同的資料庫中。難點在于如何無鎖地擷取一緻性全量資料,以及如何解析出實時增量資料。全量備份可以借助資料庫的dumper/loader實作,但通常這些dumper需要對資料庫上鎖以獲得一緻性備份點。實時增量資料通常是借助日志解析實作的,其他方法如物化視圖、trigger等都對業務有一定影響,開源資料庫可以通過一些開源工具解析出實時增量資料,但是穩定的工具并不多,而商業化資料庫的日志解析也都不開放。
根據資料庫的資料和檔案特性,又可将資料庫備份分為資料備份和日志備份:
🔸 資料備份:全量、增量和差異備份
- 1、全量備份:所有資料的備份。
- 2、增量備份:最近一次全量或者增量備份之後的新增資料備份。恢複時,需要回放最近一次全量備份以及這次全量之後的所有增量。增量備份減少了使用者備份的資料量,避免頻繁的全量備份帶來的開銷。
有“備”無患,網際網路“黑天鵝”事件殺手锏來了! - 3、差異備份:最近一次全量之後的新增資料,跟增量備份不同的是,不論最近一次全量之後有多少次差異備份,新增資料都是從最近一次全量之後的變化資料,是以多次差異備份之間是逐漸疊加的過程。恢複時,需要回放最近一次全量備份以及最近一次差異備份。
🔸 日志備份:借助日志備份可以實作任意時間點的一緻性備份。
例如,SQL Server的實體備份可以提供全量、差異、日志備份能力:
如果具備增量合并和曆史資料打快照的能力,則可實作一次全量永久增量,每一個增量備份點都能提供全量資料,以更小的備份代價實作更快的恢複速度。盡管如此,為了保障備份恢複正确性,通常還是會周期性做全量,隻是會減少全量周期的頻率。
在備份政策的選擇中,實體備份相對邏輯備份在恢複的速度上更快,邏輯備份相對實體備份在恢複的版本和用途上更靈活,兩種備份手段最終都可以實作行級别恢複;通過全、增、差、日志組合的備份計劃,一方面考慮備份的成本,一方面考慮恢複的速度,不管是備份的原始全量還是合并出來的全量,全量周期都是恢複的關鍵因素之一。
4、阿裡雲資料庫備份DBS 不同場景多種方案
備份恢複的産品在過去較長時間都是幾個頭部的大廠壟斷,Data Domain,Veritas等,支援資料庫、檔案、VM等資料源的全增量備份,借助自己的存儲和重删技術保留在本地或分布式檔案系統中,并支援長期歸檔到錄音帶庫和藍CD光牒等歸檔媒介裡。
過去幾年,虛拟化技術帶來了新的備份恢複形态,湧現了一些rubrik和cohesity等創新的廠商。不管是傳統還是新型備份廠商,都會借助雲廠商的對象存儲等低價存儲方案來替代錄音帶庫和CD光牒塔成為歸檔和異地備份的存儲媒介。長期來說,雲廠商由于同時具備資料庫和VM的生産資料,雲廠商的備份恢複的生态将會更加豐富。
DBS是阿裡雲出品的一款資料庫備份産品:
- 完善和安全的自動備份機制:全量、增量和日志備份,邏輯備份和實體備份,傳輸和存儲加密,資料CRC校驗;
- 高性能恢複機制:秒級恢複,雲容災,一鍵恢複到RDS MySQL和SQL Server;
- 低成本的備份存儲:可靠的存儲,熱資料有快照和秒級挂載,冷資料能長期歸檔;
- 無死角備份備援:跨地域、跨賬戶、跨雲備份,本地手工和自動下載下傳
- 開放的備份資料:資料湖DLA,秒級挂載,支援業務的各種分析和開發測試需求,盤活冷資料。
DBS可以幫助客戶實作跨雲、線下備份到雲上、阿裡雲自建ECS以及雲資料庫等不同環境的資料庫備份。
客戶可能會面臨不同需求,例如:借助備份上雲可以實作雲上無限存儲容量;可以借助極緻彈性實作大促或者定時報表分析等按需計算的需求;可以解決多雲多環境備援等資料安全的需求;亦可以借助備份恢複實作開發測試、線上驗證等隔離環境搭建。
DBS目前支援Oracle、MySQL、SQL Server、PG、MongoDB、Redis、雲原生資料庫PolarDB和雲原生分布式資料庫PolarDB-X的備份恢複。
實體備份需要安裝DBS的備份網關,備份恢複性能佳:
Oracle,支援多流并發備份和挂載備份兩種模式的實體備份,挂載備份可秒級挂載。
MySQL,支援多流并發實體備份和秒級挂載。
SQL Server,支援多庫實體備份。
而邏輯備份是無入侵和無鎖備份,備份恢複的版本和粒度更為靈活,可支援表/SQL級别備份,同時備份的全量資料可被資料湖DLA分析,并通過DLA實作行級别恢複。
部分備份的資料可以一鍵恢複到阿裡雲資料庫,例如,MySQL邏輯備份一鍵恢複到RDS,SQL Server實體備份一鍵恢複到RDS。可以按需建立和釋放RDS,實作恢複演練,按需查詢,彈性計算等功能。不論源端資料庫在什麼環境,都可以享受到雲資料庫的彈性和穩定性。
MySQL和Oracle備份的秒級挂載的功能,正在内測,歡迎大家試用。借助備份資料的秒級挂載,可搭建豐富的應用生态,保障生産庫小而美,解決一些業務痛點和頑疾,比如可實作非生産環境的秒級恢複,可實作應用之間隔離避免環境互相影響,可幫助業務快速搭建開發測試環境等,還可拉起精準時間點的資料庫執行個體進行數倉分析,資料拖取,複雜計算等等。
針對最近網際網路的一系列黑天鵝解決删庫跑路事件,針對RDS和ECS的使用者,我們推出了跨賬戶備份的能力。
企業的管理層可以經過授權将資料備份到自己的獨立賬戶中,實作CEO/CTO和運維人員之間權責分離,運維和歸檔資料和操作分離,避免人工誤操作,多一份保障,企業管理者可以多一份安心。
5“戰績”頗豐,DBS為企業資料安全保駕護航
DBS産品上線至今,服務了衆多大、中、小型企業,也幫助企業解決過種種異常情況,從本地硬體故障到程式員開發bug删錯資料等等。
- DBS可以幫助客戶解決無心過失操作,例如某跨境券商程式員誤删庫,通過DBS實作任意時間點恢複。
- DBS可以幫助自建IDC的客戶實作低成本的異地容災方案,例如某二甲醫院借助DBS實作異地備份,滿足國家二甲醫院等保規範。
- DBS可以幫助線下客戶實作線上高可用方案,例如某大型家電企業借助DBS實作雲備份和秒級恢複。
- DBS可以幫助跨雲客戶實作跨地域和跨雲的容災,例如某運作在一線雲平台的網際網路公司借助DBS實作多雲備援,另某運作在非一線雲平台的網際網路公司借助DBS實作多雲備份和容災。
- DBS可以幫助線下客戶實作無限容量,例如電商行業資料儲存3年的要求,借助DBS實作備份上雲無限存儲容量,而且可以任意時間點恢複到線下或者雲上。
6、小結
DBS旨在保護生産資料最後一道生命線,并将持續推出新的安全保護措施。DBS還将推送系列文章,針對産品特性的細節再展開,歡迎關注!
也歡迎對資料備份、安全、存儲的有志之士加入我們,聯系資訊[email protected]。了解資料庫備份DBS更多詳情
新使用者限時特惠一個月僅需1元
快來體驗吧!