天天看點

混合雲存儲跨雲災備方案之跨雲備份

公有雲市場現狀,問題及趨勢

從全球公有雲市場來看,亞馬遜AWS一枝獨秀,占據了接近40%的市場佔有率。2017年全年,AWS營收為43.3億美元,銷售額為174.6億美元。而在中國公有雲市場,阿裡雲的市場佔有率達到了47.6%。在連續11個季度三位數增長之後,領先優勢繼續擴大:同期,國内第2至5位雲服務商市場佔有率分别為9.6%、6.5%、6%和5.5%。

然而,近期公有雲廠商出現了不少次故障和當機事故:

2017年2月,一位AWS工程師試圖對位于弗吉尼亞州資料中心内的一個S3存儲系統進行調試的時候,意外地輸入了一個錯誤指令行,随後大部分網際網路,包括Slack、Quora和Trello在内的很多企業平台停機了4個小時。9月份,該區域(美東)又發生了一起存儲事故。

2017年3月,微軟Azure公有雲存儲可用性問題超過8個小時,主要影響到美國東部的一些客戶。

2018年6月,阿裡雲在運維上的一個操作失誤,導緻一些客戶通路阿裡雲官網控制台和使用部分産品功能出現問題。

2018年8月,雲伺服器聲稱99.9999999%資料可靠性的騰訊雲,因為硬碟固件bug導緻的靜默錯誤,進而丢失了創業公司線上的生産資料。

類似這樣的生産事故,在各大雲廠商上,都發生過。這說明了公有雲不安全嗎?資料顯示,亞馬遜AWS增速為45.9%,微軟Azure為61%,阿裡雲達到了126%。據Gartner統計,IaaS仍是未來最具潛力的增長領域,未來5年的增長率為28%。群衆的眼睛是雪亮的,群衆的選擇是明智的。如果這麼多企業使用者和個人使用者都選擇了公有雲平台,而且越來越多的企業和個人使用者都轉向公有雲平台,說明使用者是認可公有雲平台的可用性,安全性和可靠性的。這是大勢所趨。一起事故引起了如此廣泛的讨論,也從側面證明了公有雲廣泛的使用者基數和影響力。

傳統備份容災方案的問題

備份容災的産品和方案,依舊是傳統廠商的陣地。他們産品豐富,覆寫面廣。相比較而言,其他雲廠商在這方法的投入與産出顯得比較薄弱。在我們看來,傳統的備份容災産品主要有兩大問題:

1. 非雲原生:對于公有雲使用者來說,雲上的備份容災生态不夠健全。即使将傳統廠商的備份和容災軟體成功部署,也很難與所在公有雲現有的資源一起做到無縫監控與運維。另外,非雲原生的備份容災會給使用者帶去潛在的風險。即使一些備份容災産品已經與公有雲一些産品對接,但是面對公有雲廠商的産品和功能的快速釋出與更新,傳統廠商依舊無法做到第一時間的響應與支援,使用者也就失去了第一時間享受新功能和一些性能提升的機會。最後,雲廠商内部衆多産品也有内部協調,傳統廠商的産品無法實作這一點。對于專有雲(私有雲)和混合雲場景的使用者,存在同樣的問題。

2.價格昂貴,部署複雜:傳統備份容災産品面向的依舊還是傳統伺服器和存儲建構的生态。一台或多台裝置的部署,方案的設計,以及按節點和容量的付費模式,一次性的投入對于中小企業是個沉重的負擔。裝置過保或者授權過期後的維護成本有時候比初期投入還要昂貴。 

使用者的問題就是我們的責任。除了提高每個獨立産品的可靠性和運維保障之外,如何提供高成本效益,易用和高效的災備方案,也是每個公有雲廠商義不容辭的義務。越來越多的公有雲使用者,則意味着越來越強的災備需求。阿裡雲混合雲存儲團隊的雲存儲網關,混合雲備份和混合雲容災産品能夠給使用者提供完備的容災方案,進而解決客戶本地IDC到阿裡雲的混合雲災備場景和其他雲廠商平台到阿裡雲的跨雲災備(多雲災備)場景所遇到的問題。本文側重梳理混合雲存儲團隊這三個産品是如何應對跨雲災備(多雲災備)場景。

基于混合雲備份的跨雲備份架構

混合雲備份對于使用者而言,架構十分簡單:用戶端和雲備份倉庫。用戶端安裝在需要備份的主機上,而雲備份倉庫無限空間負責存儲備份資料。對于使用者來說,用戶端和雲備份庫是多對一的關系,兩者通過公網或者專線打通。

混合雲存儲跨雲災備方案之跨雲備份

混合雲備份跨雲備份架構圖

基于混合雲備份的跨雲備份實施

在這一章節,通過兩次備份和一次恢複來示範混合雲備份是如何備份使用者雲主機上的檔案,備份增量資料和恢複使用者資料的。讓大家對于混合雲備份有一個直覺的認識。

為了端到端的示範,我們從國内另外一家知名的雲廠商T那邊申請一台虛拟機,用它來模拟使用者伺服器。該雲主機配置如下圖所示:雙核4GB記憶體,50G系統盤,100GB資料盤,内網和公網帶寬分别為1.5Gbps和50Mbps,作業系統為64位CentOS 7.4,所在區域為上海。

混合雲存儲跨雲災備方案之跨雲備份

伺服器配置

其中,100GB資料盤内有33GB的資料檔案和13GB的伺服器日志。    

混合雲存儲跨雲災備方案之跨雲備份

伺服器資料盤内容

混合雲存儲跨雲災備方案之跨雲備份

資料庫資料檔案

混合雲存儲跨雲災備方案之跨雲備份

日志檔案

然後,需要登陸阿裡雲控制台,進入混合雲備份頁面開啟服務,并建立備份。此處需要注意一點:出于備份性能和效率的考慮,混合雲備份的區域最好是跟備份源端所在的區域一緻或靠近。是以,混合雲備份的區域也是‘華東2-上海區’。

混合雲存儲跨雲災備方案之跨雲備份

選擇區域并開通混合雲備份

混合雲存儲跨雲災備方案之跨雲備份

選擇區域并建立備份

建立完備份及備份庫之後,我們需要下載下傳用戶端和證書。用戶端是需要上傳并安裝在備份源端,也就是之前我們建立的那台雲主機上。

混合雲存儲跨雲災備方案之跨雲備份

完成建立并下載下傳用戶端和證書

将下載下傳完成的用戶端軟體上傳至備份源的雲主機上,解壓并安裝。    

混合雲存儲跨雲災備方案之跨雲備份
混合雲存儲跨雲災備方案之跨雲備份

上傳并安裝備份用戶端

安裝完成之後,在浏覽器上打開這個URL:http://<雲主機公網IP>:8011。這裡需要注意:雲主機的安全組很可能沒有開啟8011端口,需要使用者編輯安全組規則,開放TCP: 8011端口。之後,會彈出備份用戶端的注冊頁面。需要使用者輸入之前下載下傳的證書(注冊和連接配接備份源和備份倉庫的鑰匙),阿裡雲賬号的AK認證資訊和使用者自己設定的用戶端登陸密碼。因為備份用戶端和阿裡雲的雲備份庫之間是通過公網連通的,是以網絡類型選擇‘經典網絡’。

混合雲存儲跨雲災備方案之跨雲備份

備份用戶端注冊頁面

注冊成功之後,使用者就能看到用戶端備份頁面。該頁面是使用者建立備份和恢複資料的入口。可以先建立一個立即備份(立即備份可以了解為單次備份,隻執行依次;計劃備份是按使用者定義的排程,周期性的執行備份)。這裡,我們選擇‘立即備份’來單次備份/server_dir目錄。

混合雲存儲跨雲災備方案之跨雲備份

建立備份

送出之後,備份就會立即執行了。在備份用戶端頁面,使用者就能看到備份進度及其他相關資訊。

混合雲存儲跨雲災備方案之跨雲備份

備份進度

當備份正在執行的時候,有很多使用者會很關心一個問題:備份會不會影響備份源端的正常業務?我們可以通過源端的資源監控來檢視備份進行時,CPU,記憶體和網絡使用情況。可以看到,當備份開始執行的時候,CPU負載并沒有增加,記憶體使用增加了400MB左右。對伺服器的資源占用并不多。網絡帶寬迅速被打滿,展現了混合雲備份服務的高性能特點(注:雲主機隻有一塊網卡,是以内外網流量相同。暫且了解為該雲廠商就是這麼設計的)。

混合雲存儲跨雲災備方案之跨雲備份

在備份時雲主機的資源使用情況

接下來,向server_dir目錄中增加一個新的目錄,裡面包含了不同的13GB檔案,并在‘流量控制’頁面對備份任務做限流處理:24小時限流,最大速度為2MB/s。記得點選‘添加’将限流政策生效。

混合雲存儲跨雲災備方案之跨雲備份

新增13G檔案

混合雲存儲跨雲災備方案之跨雲備份

備份限流

送出之後,備份任務執行。可以看到備份總量為57GB,但備份進度很快就顯示79%,速度超過了1.5GB/s。這是因為備份源目錄中,有超過45GB的檔案是已經備份過的。混合雲備份通過高效的比對算法快速甄别出兩次備份集中的差異部分,将新增檔案和有變化的檔案增量備份至雲上,進而提高了備份效率。

混合雲存儲跨雲災備方案之跨雲備份

增量備份

看到備份速度顯示1.56GB/s,肯定很多人會有疑問:限流有沒有起作用?讓我們來檢查一下,流量控制是否生效。在雲主機的資源監控和主機上的nload輸出,可以很直覺的看出,16Mbps就是2MB/s的出網速度。CPU使用率有一個很短暫的高負載階段,那是因為在比對增量檔案時,主機付出的計算成本。

混合雲存儲跨雲災備方案之跨雲備份

雲主機資源監控

混合雲存儲跨雲災備方案之跨雲備份

主機nload輸出

兩次備份完成之後,我們在阿裡雲控制台的混合雲備份頁面,也能夠非常直白地看到備份概要的資訊:2次成功的備份,總的源資料和實際占用備份庫的資料。原始資料和實際占用有一個比例,代表了壓縮重删比。阿裡雲混合雲備份實作了高效的壓縮重删算法,最高可達1:30,進而大大節約備份時的帶寬占用和備份庫的空間占用。

混合雲存儲跨雲災備方案之跨雲備份

備份庫資訊

最後,我們來示範一下混合雲備份是如何實作跨雲恢複檔案的:将備份庫中的檔案恢複到其他雲廠商的主機中。我們模拟使用者丢資料的場景,将db_file和server_log目錄全部删除。    

混合雲存儲跨雲災備方案之跨雲備份

删除檔案

回到混合雲備份服務的恢複頁面,我們可以看到之前成功備份的兩次記錄,以及相關資訊。

混合雲存儲跨雲災備方案之跨雲備份

混合雲備份恢複頁面

點選最近一次備份記錄的‘恢複’按鈕來恢複最近資料。彈出的資料恢複頁面,可以指定将哪些備份檔案恢複到哪個目标目錄中。很容易了解。這裡需要注意一個細節:肯定會有很多使用者在目标檔案夾這裡寫上跟備份檔案夾一樣的路徑,然後選上‘所有檔案’之後,實際恢複的時候會在‘/sever_dir/’下面再建立一個’sever_dir’目錄。當然,這不會影響什麼,隻是在恢複完成之後,再做一些目錄的移動操作就可以了。  

混合雲存儲跨雲災備方案之跨雲備份

簡潔靈活的恢複政策

點選‘送出’之後,就能看到資料恢複頁面。可以看到恢複的性能,資料量和檔案數統計。恢複性能比之前備份性能好,可能是因為雲廠商T對寫入帶寬放的比較寬。可以看到,恢複性能還是非常好的。瓶頸應該是在該雲主機100GB雲盤的寫入性能上。

混合雲存儲跨雲災備方案之跨雲備份

資料恢複

同樣的,使用者也可以通過在雲主機上檢視網絡流量的方式來确認的檔案恢複的速度。

混合雲存儲跨雲災備方案之跨雲備份

恢複性能

等恢複完成,使用者可以在用戶端的恢複頁面看到恢複成功的狀态。

混合雲存儲跨雲災備方案之跨雲備份

恢複完成

通過登陸雲主機,我們也看到被删除的2個目錄被恢複回來了。并且,中繼資料也被完整恢複了。

混合雲存儲跨雲災備方案之跨雲備份

恢複後的檔案目錄

小結

通過以上三個用例,使用者可以很直覺地了解到混合雲備份在跨雲或多雲場景中是如何按需和按時地高效備份和恢複檔案了。批處理一鍵安裝和注冊備份用戶端可輕松支援多台雲主機的檔案備份場景,這對于企業使用者保護多台主機的檔案非常便捷。

最後,混合雲備份用戶端已經支援全版本的Windows作業系統(32位和64位)及主流的Linux發行版(32位及64位)。對MacOS的支援也會在近期釋出。有興趣的企業和個人使用者,可以到阿裡雲官網上開通混合雲備份并使用!