雲定義存儲（CDS: Cloud Defined Storage）正式釋出
在 2021 年中秋與國慶之際，阿裡雲存儲團隊釋出了全新的雲定義存儲 CDS。
這次釋出的 CDS 1.0 版本，基于阿裡雲飛天作業系統和分布式存儲底座盤古，是業界首次同時支援對象存儲服務 OSS、塊存儲服務 EBS、日志服務 SLS和災備服務 HBR，特别是通過盤古全新的QoS架構支援對象存儲服務 OSS 和塊存儲服務 EBS 服務融合部署在同一套實體伺服器上面。這次釋出的存儲服務與公共雲上規模化的存儲服務做到了代碼版本基本一緻，彌合了以往混合雲版本和公共雲版本差距比較大的問題，讓客戶能夠享受到和公共雲基本一緻的功能。
阿裡雲存儲團隊為什麼要釋出 CDS? CDS 和現在傳統的存儲陣列、分布式存儲、軟體定義存儲的差別在哪裡？阿裡雲存儲團隊如何看将來存儲的發展趨勢？在這裡，我們 CDS 研發團隊的核心技術負責人們會通過一系列的技術文章為大家揭開圍繞着阿裡雲 CDS 的種種謎團。
為什麼要開發雲定義存儲？
業務的需求
從阿裡雲存儲在 2016 年底成立混合雲存儲 HCS（Hybrid Cloud Storage）部門以來，内外部業務對規模配置靈活和功能有競争力的分布式存儲産品的需求一直都不少。當時綜合考慮産品研發的投入，阿裡雲在混合雲市場尚且缺乏經驗，以及國内市場參與廠商比較多和競争激烈等多方面因素，我們制定的政策是以專有雲內建的分布式存儲、陣列、災備一體機等結合起步，先進入傳統存儲市場的不同細分領域試水，為阿裡雲了解和摸索這個市場，儲備經驗和彈藥。
自 2018 年開始，随着 IT 基礎設施雲化的節奏加快，基于雲的基礎架構或者資料中心已經成為政企客戶的首選方案，給新的存儲廠商特别是軟體定義存儲廠商帶來了巨大的市場機會，同時随着阿裡雲在混合雲市場的發展，對阿裡雲存儲在混合雲場景輸出的要求越來越高漲，于是存儲團隊在 2019 年開始正式啟動相關産品的規劃、設計和開發。
艱難的決策
在把目标聚焦在分布式存儲和 SDS 的方向以後，通過分析和研究，我們發現國内 SDS 産品的的同質化很嚴重，我們如果脫離公共雲技術棧另起爐竈搞一個類似的産品難以建構持久的核心競争力，同時從技術和工程角度講，公共雲和專有雲兩套産品架構并行開發，會造成巨大資源浪費，很多相似特性都需要在不同産品上重新做一遍，而且由于架構限制還不能保證都能支援。最後我們決策啟動混合雲分布式存儲 SDS 的自研，技術上堅持公共雲和混合雲 CDS 共享同一套技術和代碼，保持公共雲存儲服務的彈性、擴充能力和服務托管的差異化競争力，同時積極補齊企業存儲的進階特性。是以混合雲 CDS 的架構、功能和使用者體驗都是和公共雲保持一緻的， 這也是我們這裡所說的雲定義存儲的“雲定義”的由來。
接下來，我們依次介紹一下軟體定義存儲的特點、雲定義存儲和軟體定義存儲的差別。
軟體定義存儲
軟體定義存儲的起源
軟體定義存儲（SDS：Software Defined Storage）的說法最早見于 2012 年 VMware 和 EMC 推動軟體定義資料中心（SDDC：Software Defined Data Center）的一系列市場戰役，後續一衆資料中心/伺服器/存儲廠商也跟進了這個定義，大家的政策是為了應對越來越明顯的企業上雲的訴求，以及 AWS/Azure 雲計算廠商帶來的壓力和競争，于是面向雲計算重新定義了企業資料中心和存儲的路徑和方向。當年 SDS 最熱的一段曆史過程如下圖所示：
軟體定義存儲的關鍵特征
軟體定義存儲有很多特征，業界比較公認的有三大特征：抽象（abstract），池化（pool）和自動化（automate）。這些特征背後的驅動力是企業上雲和企業 ICT 基礎設施雲化。
- 抽象，軟硬解耦，管控解耦：雲計算廠商和雲化的資料中心大量使用了标準化/商業化的伺服器來替代EMC/NetApp/IBM 等的專有硬體儲存設備，大規模采購、存儲/伺服器分别招标等促使存儲軟體和硬體解耦。資料面和管控面解耦，也幫助客戶通過統一的管控面來管理不同廠商的不同硬體（資料面）。
- 池化和橫向擴充：為了提高資源利用效率，使用存儲虛拟化技術池化各種存儲和資料煙囪。
- 自動化：通過開發 API，讓軟體來控制存儲資源和服務的增删改查，比人機界面的效率更高，業務彈性伸縮能力更強。
軟體定義存儲與傳統存儲陣列/軟體的差別
SDS 和傳統存儲陣列在硬體耦合、節點/控制器擴充方式和規模、互動和管理接口各個層面都有差別：
值得一提的差別是，SDS 的“軟體定義”在國外特别強調的是 SDS 是 API/SDK 豐富，可以軟體程式設計驅動，而傳統存儲更多的人機互動接口，管理者驅動為主。
雲定義存儲是什麼
雲定義存儲 CDS 是一個全新的軟體定義存儲，既能夠在定制的 CDS 存儲伺服器上軟硬一體優化輸出，也有支援 X86 到各個信創平台的軟體輸出模式。其中最核心的關鍵詞是“雲定義”，總結下來有六大能力：
- 雲原生（Cloud Native）
CDS 不是重新開發的産品，它是把阿裡雲公共雲的各種存儲服務，按照産品規劃和市場需求逐漸導入釋出到統一的 CDS 存儲平台，在内部 CDS 裡的存儲服務例如 OSS 的代碼和特性和公共雲完全一緻；對外部，CDS 內建的各種雲存儲服務從控制台（GUI）、指令行（CLI）到 Open API/SDK 都和公共雲一緻，降低了原有阿裡雲客戶和合作夥伴使用和內建的難度。
與此同時，CDS 還天然支援公共雲的分層架構：雲-區域（Region）-可用區（AZ）-叢集（Cluster)。
- 雲規模（Cloud Scale）
相對絕大部分分布式存儲或者 SDS 廠商，阿裡雲 CDS 的最大優勢就是 CDS 這些代碼都是經曆了阿裡雲公共雲百萬級客戶和阿裡巴巴集團各種業務（例如雙十一）的打磨和驗證的，支撐了超大規模和複雜業務的壓力。以CDS 的 OSS 存儲服務為例，單個桶在生産環境能夠支援萬億對象，達到 EB 級容量。
- 雲服務（Cloud Service)
CDS 在同一存儲平台上同時提供多種雲存儲服務（一般最常見的有塊存儲和對象存儲服務），支援多租戶。前台可以像公共雲那樣客戶自助服務（Self Service），背景可以客戶自主運維也可以托管運維（本地駐場或者遠端），各種基本存儲服務通過 CDS 雲管套件統一管控和運維、通過盤古統一資料底座，同時可以選擇開通進階存儲服務例如日志服務、災備服務、資料管理和分析服務等。
與此同時，為了加速企業上雲，阿裡雲存儲在公共雲和 CDS 上同步釋出企業存儲的功能，例如基于 EBS 的企業級塊存儲 ESSD ，基于 HBR 的容災備份功能。
- 雲連通（to Cloud）
存儲資料在 CDS 和 CDS 以外的雲之間通過網絡受控的安全的流動。
- 雲部署（on Cloud）
CDS 直接部署在雲環境裡作為雲存儲服務對外提供服務，這裡的雲環境可以是公共雲、本地雲、邊緣雲和專有雲等各種雲架構。
- 混合多雲（Hybrid Multi Cloud）
除了外部客戶的需求，阿裡巴巴集團内部也有很多業務單元在對外輸出産品或者服務的時候都有對存儲的需求，綜合這些需求，他們或者他們的客戶都有避免被某個供應商鎖定的訴求，混合多雲已經成為标配。在這裡，混合多雲有兩種不同解讀：一種是阿裡雲的混合多雲，包括阿裡雲公共雲、混合雲、本地雲、邊緣雲計算等等；另外一種是阿裡雲和其他的雲計算服務商。
CDS 基于統一的盤古 2.0 分布式存儲混合多雲實作了混合多雲、雲連通等多态雲部署：
重新定義的特性釋出模式
阿裡雲 CDS 不僅重新定義了混合雲的 SDS 的新基線，同時也重新定義了阿裡雲存儲産品和特性研發的工程模式，從 CDS 1.0 開始，已經在 CDS 平台釋出的雲存儲服務單品會被要求公共雲和混合雲場景準同時釋出。與此同時，混合雲輸出特别是無公網連接配接的場景，依賴客戶或者駐場服務人員的技術能力；阿裡雲 CDS 産品重點打磨智能運維、RAS、和自動診斷能力，這些能力也同時反哺到公共雲存儲服務中，提高系統運維效率，增強系統穩定性。
CDS 重新定義的工程模式大大加速了混合雲存儲版本釋出的能效，在本财年 CDS 的下一版本裡，雲存儲網關、新的企業級快存儲 ESSD 和檔案存儲 NAS 等重要産品和特性将快速推出。
展望
阿裡雲 CDS 是一個雲定義的存儲平台，目前 CDS 1.0 版本支援了多款阿裡雲存儲産品和資料服務（包括塊存儲 EBS、對象存儲 OSS、日志服務 SLS 和災備服務 HBR）。在接下來的技術連載裡我們會逐漸介紹 CDS 裡平台和管控服務、盤古、EBS、OSS、SLS 等各個産品和關鍵子產品的特點。
阿裡雲 CDS1.0 的釋出，代表着阿裡雲存儲開始以一個原汁原味的雲存儲的形态進入混合雲存儲市場，來滿足日益增長的雲計算的需求。作為國内公共雲的領先者，同時又是混合雲市場的挑戰者，我們有堅定的信心和決心，和高校的專家、友商同行一起推動中國存儲技術的發展。
原創作品：阿裡雲存儲 慈湖
系列文章傳遞門：
- 【CDS技術揭秘系列 總篇】阿裡雲的雲定義存儲來了 https://developer.aliyun.com/article/792044?spm=a2c6h.13148508.0.0.3eef4f0ecyZOjQ
- 【CDS技術揭秘系列 01】阿裡雲CDS-OSS容災大揭秘 https://developer.aliyun.com/article/792000?spm=a2c6h.13148508.0.0.3eef4f0ecyZOjQ