企業資料上雲最佳實踐

    2020 年 5 月 8 日，國際資料公司（IDC）最新釋出的《中國公有雲服務市場（2019 下半年）跟蹤》報告顯示，2019 下半年中國公有雲服務整體市場規模（IaaS/PaaS/SaaS）達到 69.6 億美元，其中 IaaS 市場增速回落，同比增長 60.9% 。阿裡、騰訊、中國電信、華為、AWS 位居 IaaS+PaaS 及 IaaS 市場前五，在IaaS+PaaS 市場總體占據 76.3% 的市場佔有率，在 IaaS 市場總體占據 77.5% 的市場佔有率，持續拉大領先優勢，中國雲計算時長正加速形成頭部聚集态勢，呈現出“一超多強”的格局[ 1 ]。

2019下半年前五大中國公有雲IaaS+Paas廠商市場佔有率占比

        可以預見在未來相當長的一段時間内，随着公有雲計算技術的不斷成熟和市場的擴大，企業上雲将成為常态操作；雲計算市場頭部企業和尾部企業差距逐漸拉大，小廠商将進一步被壓縮已緻消亡，雲廠商之間的資料遷移也逐漸成為剛需、高頻需求。

         國内公有雲龍頭的阿裡雲在企業級存儲市場布局已久，其中阿裡雲對象存儲OSS憑借多層次防護、跨Region容災等能力連續2年入選Gartner全球雲存儲魔力象限。在應對企業資料存儲、資料遷移等方面已有諸多成熟案，适用于不同的資料遷移場景。

阿裡雲對象存儲OSS

        阿裡雲對象存儲OSS立項于2008年，随飛天作業系統發展而演進。開發完成後先是在阿裡巴巴集團内打磨，2011年正式在阿裡雲商業化釋出。至2019年，OSS核心演進到第二代（OSS 2.0），釋出9大新特性，繼續擴大海量、安全、低成本、高持久、智能等優勢。

阿裡雲對象存儲OSS技術演進

        2020年8月，國際知名咨詢機構Gartner釋出了最新雲廠商産品評估報告，在雲存儲大類中，阿裡雲存儲得分13.7（總分15），排名第二，與排名第一的AWS僅差0.1[

2

]，阿裡雲已連續兩年入選該報告，也是唯一入選的中國廠商。

       在存儲 40 條評估細項中，既包括主流的對象存儲、塊存儲和檔案存儲産品服務能力評估，同時也涵蓋資料遷移、跨區域複制、快照生命周期管理及資料加密等進階存儲服務能力。阿裡雲存儲在本次評估中的必備能力項目得分赢得大滿貫，對象存儲OSS 産品能力得分也曆史性超越對象存儲領域泰山鼻祖 AWS S3，分析師認為，OSS資料強一緻性選項， 相比S3的最終一緻性，使用者業務開發和使用更簡單。同時，OSS 可用性 SLA 全球第一，可達 99.995%, 領先 AWS 等雲廠商 10~20 倍，讓使用者的業務更穩定。

Gartner釋出全球雲産品評估報告：阿裡雲存儲能力全球第二

阿裡雲對象存儲如何應對企業資料存儲的關鍵需求

資料是企業的生命線，企業的資料存儲也普遍面臨着 3 個挑戰：

• 資料快速增長。根據 IDC 統計全球資料量在 2020 年将高達 40,000EB ， 人均 5TB。
• 資料不丢不錯。Gartner 報告經曆災難系統停運的公司有 40% 立即倒閉，剩下的 33% 兩年内破産。
• 法規遵從。根據行業合規要求，需要長期保留的資料越來越多、越來越嚴格，如金融雙錄需儲存 6 個月、證券投資警示材料與錄像需儲存 20 年、會計檔案需儲存 10~30 年，且不可修改。

通過大量的企業交流，從中總結了 5 個關鍵需求，如下圖所示：

企業資料存儲關鍵需求和阿裡雲對象存儲應對之策

• 可靠性，指在硬碟、伺服器、網絡等故障情況下，以及火災、地震、洪水等災害時，可以有效防止資料丢失，OSS 通過跨機機櫃、機房、區域的資料備援，實作了 12 個 9 的高可靠性。
• 可用性，指在伺服器故障時、光線挖斷時，可自動切換實作業務連續性，OSS 通過容錯設計，實作了 99.995% 的可用性。
• 安全合規，指資料通路的認證、授權、加密、以及行業法規遵從，OSS 支援多項合規認證，比如 KMS 加密、WORM 認證等。
• 自動擴容，能夠自适應業務資料快速增長，避免出現存儲空間被打爆，OSS 通過業界領先的資源供應鍊管理、軟體分布式彈性設計，實作 百 EB 級空間、百萬億級對象規模 能力。
• 自動生命管理，支援冷熱資料的管理，優化 TCO，OSS 提供标準、低頻、歸檔存儲，并自動化遷移，優化存儲使用成本。

阿裡雲對象存儲OSS資料遷移

        資料遷移是使用阿裡雲對象存儲OSS的首要步驟。阿裡雲對象存儲OSS為使用者提供了多種資料遷移方法和工具，使用者可綜合考慮容量、帶寬、應用的易用性等因素，選擇合适的方法。下面主要介紹三種典型的資料遷移場景和相應的資料遷移方法。

PB級IDC資料遷移

        部分企業使用者自建IDC，使用本地存儲，已經積累大量業務資料。使用者需實作快速上雲，本地機房帶寬較小或無公網，但是專線價格昂貴，上雲成本較高。沒有專線大帶寬情況下，怎麼快速遷移資料上雲呢？

       這種檔案數量龐大且資料源出口帶寬受限的資料遷移場景可以使用阿裡雲離線遷移（閃電立方裝置）[

3

        離線遷移（閃電立方裝置）是阿裡雲于2017年9月推出的安全、高效、便捷的資料遷移服務。通過定制化的遷移裝置（閃電立方裝置），實作TB到PB級别本地資料遷移上雲。緻力于解決大規模資料傳輸效率、安全問題等難題，支援本地檔案系統 NFS，NAS，HDFS，FastDFS、CIFS、HDFS等資料源，提供按量、按時服務方式，特别适用于檔案數量龐大且資料源出口帶寬受限的企業使用者。

阿裡雲離線遷移服務（閃電立方裝置）

和其他遷移方式相比，離線遷移服務（閃電立方裝置）具有以下優勢：

• 擴充靈活，低成本
• • 單台裝置可支援36 TB\100 TB\480 TB的遷移資料能力，可多套同時使用，提升遷移效率。
  • 相比傳統Internet或者專線接入的方式，成本下降60%，遷移速度提升20倍
• 部署友善
• • 采用專業的資料遷移裝置，标準機架和電源，可多套同時部署提升遷移效率。
  • 支援多種的資料源類型：本地檔案系統、NAS、HDFS、FastDFS等。
• 安全可靠
• • 保證資料一緻性：采用CRC技術進行讀寫雙向校驗。如果資料遷移時CRC校驗失敗，則閃電立方會自動進行重傳。
  • 資料加密：提供端到端的加密機制，并通過RAM授權的方式運輸并上傳資料。
  • 資料擦除：資料遷移完畢後，通過阿裡雲官方資料擦除機制，確定資料不會被第三方擷取。（符合NIST 800-88标準中的關于資料擦除相關的标準）

       閃電立方在美國、中國、日本、馬來西亞、澳洲等區域布局，先後完成圖森智途、雲健康、力美傳媒、快牙、千尋、浙醫二院、大連化物所、央視無錫基地、小鵬汽車、赢徹等大使用者、典型客戶的資料遷移、業務上雲。

       使用者可按照以下流程[

4

]使用阿裡雲離線遷移（閃電立方裝置）。

閃電立方服務遷移流程

第三方雲存儲資料遷移

        阿裡雲線上遷移服務于2018.10月上線，通過公網或專線帶寬将其他雲服務上或本地機房上的資料輕松遷移至阿裡雲對象存儲OSS或阿裡雲檔案存儲NAS，也可以在對象存儲OSS之間進行靈活的資料遷移。特别适用于資料源出口帶寬充足，資料量在100TB以内的公網傳輸場景。

         阿裡雲線上遷移服務搭建了完善的

遷移監控可視化平台

，使用者無運維成本。隻需要在控制台上填寫按步驟填寫基本的遷移資訊後即可啟動遷移任務；支援查詢遷移進度，提供流量資料監控；支援遷移完成率統計，列印失敗檔案清單清單；支援随時啟停遷移任務，動态修改遷移限流，重試失敗任務。

線上遷移服務遷移流程

     目前線上遷移服務已支援12種第三方雲存儲到OSS的遷移，支援本地NAS遷移到阿裡NAS，支援OSS到OSS、NAS到NAS、OSS與NAS之間遷移。支援使用者指定機器與自動配置設定ECS兩種部署方式。支援檔案按字首、最後修改時間過濾，支援指定目錄或排除目錄遷移。支援不停服熱遷移，降低系統遷移過程彙總的應用停機時間。下表列出了線上遷移支援的異構資料源類型和功能。

線上遷移服務支援的異構資料源類型和功能

源資料位置	目标資料位置	全量遷移	增量遷移	指定字首	指定最後修改時間
HTTP/HTTPS源		✅
七牛雲
騰訊雲COS
AWS S3 / AWS S3 多版本/ AWS S3 inventory
Azure Blob
百度雲 BOS
金山雲 KS3
谷歌雲 GCP
華為雲OBS
UCloud UFile
又拍雲
ECS
阿裡雲檔案存儲NAS
本地檔案存儲NAS
阿裡雲檔案存儲OSS

​和其他遷移方式相比，線上遷移具有以下優勢：

• 易用靈活
  • 支援可視化配置頁面，僅需3步輕松設定遷移部署任務
  • 遷移過程實時監控，線上顯示遷移進度
  • 遷移結果提供報告，完成情況一目了然
• • 保證資料一緻性：支援MD5或CRC自動識别源端校驗規範，進行讀寫雙向校驗
  • 傳輸加密：傳輸時，采用HTTPS資料加密通道。
• 傳輸性能高
  •  支援多任務、高并發
  •  支援個性化流控：為避免遷移資料與線上業務通路争搶網絡帶寬，線上遷移執行任務時可指定時間段内的最大流量，友善客戶根據業務波峰和波谷來設定遷移流控。

       線上遷移服務上線以來，完成約27PB的資料遷移，支援了藍月亮、玩美、歡拓、大疆、居然之家、VIVO、曉信、VipKid、小黑魚、原力、點測、迅雷、一下、閃馬、微網誌、UC、聯想、讀書郎、任意門等多個大使用者的資料和業務遷移，并獲得多個使用者好評。

資料無縫遷移

        想象下這樣的場景：某服務已經在自建的原站或其他雲産品上運作，現因業務發展，需要将資料遷移到OSS上，但又不能停止服務。這種情況如何解決？

         這種資料無縫遷移到OSS的場景可以使用組合使用線遷移和回源功能。其中線上遷移負責遷移資料，回源功能保證業務的正常進行。整個遷移過程分為下面幾個步驟：

• 配置Bucket回源屬性，配置好資料在OSS讀取miss之後回源的位址。配置好之後如果通路某Object miss的時候你的用戶端可以根據OSS傳回的302重定向去配置的位址讀取檔案。
• 配置遷移工具，從源端向OSS遷移資料，這一步不影響您的業務，異步的從源站将資料搬遷到OSS。
• 資料搬遷接近完成的時候，将業務上的讀寫從之前的源站切換到OSS。
• 等待遷移工具從源搬遷完所有的老資料（這種場景下如果您的業務有對資料的覆寫寫是需要注意的，可能會造成老資料覆寫新資料）

如上所說，我們有兩種方式Bucket回源屬性可以做到無縫遷移，即鏡像和重定向[

5

]：

鏡像回源

利用鏡像回源做無縫資料遷移

       上圖中帶有數字标記的箭頭就是資料通路miss時的資料流向。在鏡像回源的方式下使用者通路OSS如果Object miss，那麼OSS會替使用者從源站讀回檔案，并寫入到OSS，這樣一來，如果使用者的請求可以周遊所有的檔案，那麼這個異步的遷移過程其實是可以省略掉的。

重定向回源

利用重定向做無縫資料遷移

       上圖中有數字标記的箭頭就是資料通路miss時的資料流向。在配置重定向回源的方式下，如果Object miss，那麼需要您的用戶端去源站去讀取一次資料。這就要求您的用戶端要能了解http協定中的3xx重定向語義（OSS的重定向回源是通過3xx重定向來實作的）。需要注意的是，在這種回源方式下，OSS不能自動幫使用者搬遷資料，使用者的資料必須依靠遷移工具/服務來異步的搬遷到OSS上面來。上圖中也能看到在這種場景下配合CDN一起使用，那麼檔案會cache在CDN上，無需每次miss之後都回源站讀取，也是一種減少延遲、節省源站流量的方式。如果不使用CDN，那麼就需要使用者自己完成回源站讀取資料的過程。

兩種回源方式都能實作資料無縫遷移，具體選擇哪種可以參考以下使用建議：

• 如果要遷移的檔案較少，建議配置鏡像回源的方式，按照檔案清單逐一通路OSS，OSS會把所有的檔案從源站讀取出來，回寫到您的Bucket，這種方式是一個最簡單的遷移方案。
• 如果需要遷移的檔案量比較大，或者檔案的大小比較大，那麼由于鏡像回源的方式帶寬有限，依靠這種方式來搬遷資料可能會花費比較長的時間，影響您的使用體驗，建議使用“重定向回源+遷移工具/服務”的方式，如果Object miss，直接讓用戶端從源站讀取資料，由遷移工具/服務來異步的搬遷資料，不影響您的服務。
• 如果您的業務對延遲比較敏感，建議在大部分資料遷移完成之後再将業務切到OSS上來，否則像文章開頭的兩張圖中所示，如果資料通路miss的話，使用者的請求都會經過一個比直接通路OSS上的Object更長的過程，這一過程會增加通路延遲，可能會降低您的使用者體驗，是以這個重定向或者鏡像的資料比例要控制的盡可能小一些。

兩種回源規則均可通過

阿裡雲OSS控制台

或

指令行工具ossutil

進行操作。

典型企業案例

資料遷移方案需要因地制宜，選擇合适的資料遷移方案，可能會涉及到不同遷移方案的組合。下面介紹兩個典型的資料遷移案例。

115科技45天百PB資料遷移

場景

      2018.2，阿裡雲支援115科技的資料遷移。115科技總資料量約100PB、130億檔案存儲在東莞、佛山、梅州三個機房，分别有資料50PB、30PB、20PB。整個遷移過程要求整體服務不停機，客戶無感覺，資料無遺漏錯誤。當時網際網路曆史上還未有規模如此大的公有雲資料遷移先例。

遷移方案

       為了保障115業務平滑遷移，阿裡雲将分布在不同地區的數千台實體機内的資料與雲上的位置進行了一一對應的規劃，保證每一比特都有迹可循。從于遷移成本和效率考量，阿裡雲最終采取線上遷移和離線遷移的組合遷移方案。

115科技資料遷移方案——線上遷移和離線遷移組合拳

       其中，佛山、東莞機房采用了300Gb專線互連的傳輸方式，建立邊界路由器和路由器接口來連接配接115的資料中心與阿裡雲VPC，采用400Gb/s的分布式線上資料傳輸服務OSSImport，将115的資料加密遷移到對象存儲OSS中，并對每個檔案做端到端的SHA-1校驗，避免出現資料不可用或者不一緻的情況。為了提升傳輸效率，阿裡雲存儲研發團隊在10天内設計了11個功能，包括SHA-1校驗邊算邊傳、WORM（一寫多讀禁止覆寫））、HEIF與矢量圖檔轉換支援等特性，用于承載115科技的非結構化資料如文檔、圖檔、視訊的業務[

6

      梅州機房使用閃電立方，每套閃電立方可容納480TB資料，在資料安全方面滿足企業嚴格的要求。可在2分鐘内就完成了2TB資料的安全傳輸過程，每塊硬碟專項分離保護，并實施專人專車的運輸保障，讓離線傳輸同樣專業、高效、安全。有了閃電立方的快速離線遷移能力，115科技的上雲時長從預計的4個月大幅縮短到了45天。

     經過嚴格校驗無一錯誤。115科技遷移上雲，是中國網際網路史上資料規模最大的遷移項目，成為業界标杆。

某網際網路公司無縫資料遷移

客戶 A 為某網際網路服務公司，主要業務架設于某雲計算服務提供商 B 處，為其使用者提供圖檔、視訊等線上編輯服務。客戶 A 存儲在 B 處的曆史資料約有1億個檔案，共320TB 左右大小，每天新增約20GB 資料，B 處的資料存儲服務和 OSS 的通路帶寬均為250MByte/s，業務所需帶寬最高為50MByte/s。

現因公司發展需要，考慮将業務切換至 OSS 上。切換時需将原始資料及新增的資料遷移至 OSS，因曆史資料較多，為保證公司業務正常進行，此次業務切換需做到如下要求。

• 遷移中，需保證業務的正常進行，不能影響其使用者正常讀取資料。
• 遷移完成後，需保證資料完整，業務可無縫切換。

根據客戶需求及背景資訊，制定了如下遷移方案。

1. 通過阿裡雲線上遷移服務将客戶的存量資料從雲服務遷移到 OSS，遷移完成前，客戶業務不做變動。
2. 存量資料遷移完成後，通過 OSS 的鏡像回源功能讓使用者可以通路到暫時未遷移至 OSS 的增量資料。
3. 客戶将業務切換至 OSS。
4. 業務切換完成後，通過線上遷移服務将使用者的增量資料也遷移至 OSS。
5. 資料全部遷移完成并檢查無誤後，删除源端資料。

步驟一：遷移存量資料

1. 建立用于存儲遷移資料的 OSS Bucket，詳細步驟請參考 建立存儲空間 。
2. 建立用于遷移的子賬号 AccessKey。

• • 擷取 B 存儲服務子賬号的 AccessKey：登入雲服務控制台擷取通路密鑰（AccessKey）。
  • 擷取阿裡雲 OSS子賬号的 AccessKey：請參考 建立 RAM 子賬号并授予相關權限

建立資料位址并建立全量遷移任務。詳細配置步驟請參見

線上遷移服務

對應教程的遷移實施文檔。其中，遷移任務的任務配置如下所示。

步驟二：配置鏡像回源

       遷移存量資料用時約25天，資料遷移過程中，源站還在不斷産生新的資料。為了不中斷業務，做到業務無縫切換，還需要配置鏡像回源功能。當使用者請求的檔案在 OSS 中沒有找到時，OSS會自動到源站抓取對應檔案儲存到 OSS，并将内容直接傳回給使用者。

1. 登入 OSS 管理控制台
2. 在存儲空間清單内，單擊存放遷移資料的存儲空間。
3. 單擊存儲設定，之後單擊鏡像回源區域的設定。
4. 單擊建立規則，在彈出的建立規則對話框填寫回源資訊。

​

步驟三：業務切換至 OSS

      客戶在業務伺服器上将資料讀取的源位址切換至 OSS。

步驟四：遷移增量資料

       遷移存量資料期間，源端産生了約100000個，共500GB 左右大小的檔案，還需要将這部分增量資料遷移到 OSS。

1. 根據 的建立遷移任務重新建立一個增量遷移任務。其中，遷移任務的任務配置如下所示。

​性能調優配置如下所示。

​​

   4. 單擊建立，開始執行遷移任務。

   5. 遷移完成後，需通過

檢視遷移報告

，并對比源位址和目的位址的資料，确認資料已經遷移完成。

步驟五：删除源端資料

      所有資料遷移完成後，為防止源端繼續産生存儲費用，可通過生命周期管理，将 Object 生命周期設定為1天，1天後将删除所有資料。

參考

1. IDC釋出《中國公有雲服務市場（2019下半年）跟蹤》報告，阿裡份額穩居第一
2. Gartner釋出全球雲産品評估報告：阿裡雲計算能力排名第一
3. 閃電立方
4. 離線遷移服務使用流程
5. OSS無縫資料遷移方案
6. 115科技宣布整體遷移至阿裡雲 45天遷移百PB資料創網際網路史紀錄