在2018年雲栖大會·南京峰會的飛天技術彙專場中，阿裡雲産品專家王登宇帶來了題為《企業資料創新之旅——高性能NAS助力業務上雲》的精彩技術分享。在分享中，他首先介紹了企業上雲面臨的困難和阿裡雲存儲之路；随後對NAS檔案存儲産品家族的技術架構和适用場景進行了分析；分享最後，他結合基因、視訊、AI等具體客戶對NAS助力業務上雲進行了詳細講解。
數十款阿裡雲産品限時折扣中， 趕快點選這裡 ，領券開始雲上實踐吧！ 直播回顧視訊以下内容根據現場分享整理。
時至今日，企業上雲已不再是一個全新的話題。
上圖是IDC在2016年對全球企業級存儲市場增長趨勢的預測：從2015年至2020年五年時間，本地IDC ON-PREM，大約增長了3倍；而雲上OFF-PREM 大概增加了4-5倍。當更多企業選擇雲存儲的同時，也給企業IT部門帶來了更多的問題和挑戰。
對于傳統企業業務，如資料庫、CRP等業務，一般是使用儲存設備進行存儲，當存儲空間達到極限時，經常面臨存儲無法擴容、裝置過保、更新換代、資料遷移、機房擴建等問題；對于網際網路業務，它不同于傳統業務，更多關注的是業務快速上線、避免IT投資風險、業務快速轉型，進而需要橫向擴充能力以及按需使用資源。
面對這些問題時，IT部門的負責人需要考慮如何以最優的方式解決這些問題。阿裡雲存儲正是在解決此類問題的過程中成長起來的。
阿裡雲存儲之路
從最初接觸雲儲存至今，阿裡雲存儲之路已經整整走了十年。2008年，組建雲存儲團隊，探索阿裡集團大規模存儲解決之道；僅隔一年，在2009年，雲存儲團隊便推出了分布式存儲引擎1.0，為虛拟機、阿裡金融、郵箱、搜尋提供通用存儲服務；2013年，實作存儲單叢集5K計算節點，打破Sort Benchmark世界記錄，在377秒内完成100TB排序；在2015年，單叢集更是突破10K計算節點，基本完善阿裡雲存儲産品體系，并在2016年，以$1.44/TB的成績獲得Indy專用目的排序和Daytona通用目的排序兩個子項的世界冠軍，打破了AWS年保持的紀錄4.51$/TB，雲計算效率世界第一；在2018年。阿裡雲存儲團隊推出了分布式存儲引擎2.0，面向人工智能、科學計算、深度學習等未來存儲場景實作存儲引擎更新，建構全新一代存儲引擎。
飛天統一存儲 對熟悉阿裡雲的同學而言，飛天一定不會陌生。上圖給出了飛天統一存儲架構圖，作為阿裡雲自主研發、服務全球的超大規模通用計算作業系統，最底層是全球部署的19個地區，幾十個資料中心；其上是基于海量的X86 Linux高性能通用伺服器叢集；通過分布式協同（女娲）、資源管理（伏羲）、安全管理、遠端過程調用（誇父）建構中間盤古分布式存儲；在盤古之上，是對外提供的不同類型的存儲産品，包括塊存儲、檔案存儲、對象存儲、表格存儲等；在存儲産品之上，是阿裡雲對外提供的MaxCompute、日志服務、GPU、ECS等各類雲計算産品。
盤古分布式存儲 上圖給出了分布式存儲服務盤古的架構圖，主要由盤古核心基礎層、盤古産品适應層和産品層構成；其中盤古核心基礎層又分為軟硬體一體化層、單機存儲引擎和盤古核心功能子產品。最底層的軟硬體一體化層，主要采用了定制化的新硬體和新媒體；在其上，将硬體抽象成單機存儲引擎；在單機存儲引擎之上，形成了盤古核心功能子產品，包括多副本協定、中繼資料管理、磁盤管理、資料放置政策、資料校驗、糾删碼。盤古産品适配層提供了塊存儲适配和分布式檔案系統适配，實作一套架構滿足上層不同雲存儲産品的IO的需求；産品層為使用者提供了實際使用的雲存儲産品，如對象/表格存儲、日志/消息存儲等等。
盤古整體分布式存儲架構使用使用者态的TCP網絡協定棧，減少使用者态與核心态的開銷；同時采用了全面相容RDMA網絡，通過軟硬體一體化增強網絡的穩定性、降低網絡延遲，逼近網絡實體極限；此外，采用自适應的網絡，針對不同場景自由切換識别網絡特征；最後，在RPC方面也進行了全面優化，全面改進Protobuf的性能，并針對線程模型進行了全面優化。
NAS檔案存儲産品
作為本次分享的主題——NAS檔案存儲，從2016年初正式上線至今，NAS檔案存儲産品家族已經聚合了通用型NAS（又可細分為容量型、性能型）、NAS Plus、CPFS三大産品。
通用型NAS 通用型NAS底層基于盤古；盤古的上一層稱之為前端，它主要是提供NFS和SNB協定的叢集；在前端機的上層是負載均衡；再往上一層就是用戶端層，也就是說NAS産品一定是要配合計算節點進行使用的。
從整體架構來看，Metadata完全是完全是旁路的，不占用整體IO路徑。當用戶端請求經過負載均衡接入到處于空閑狀态的前端機，前端機通過查詢Metadata擷取資料所在的存儲位置，其中對Metadata采用了一些緩存政策，減少查詢次數；查到資料之後，直接從盤古中對資料進行讀取/寫入等操作。從架構中可以看出，NAS并非像傳統檔案存儲一樣，在某些地方存在性能瓶頸，所有的節點均采用分布式部署，避免單點故障對系統造成的影響。
通過如上架構設計，通用性NAS實作了高性能、高可靠、高可用：
·單檔案系統的吞吐量可到20GBps，IOPS可達到5k；
·性能随容量線性增長；
·4個9設計高可用，11個9設計高可靠。
在協定支援方面，阿裡雲通用性NAS是實作了NFS V3.0/V4.0和SMB v2.0/v2.1v3.0的多協定支援，業内首創；在安全方面，采用阿裡雲共有的安全特性，如VPC、安全組、ACL、多租戶、主子賬号等。
—— 場景 由于通用型NAS簡單易用，企業無需修改NFS/SMB接口；并且具備彈性擴充，容量無限擴充，性能按需滿足；此外，使用者可以按需購買，按使用量計費，無需額外費用；以及降低TCO，即開即用，無需Capex投入的特點，使得NAS在企業有着廣泛的應用場景，如文檔共享、視訊存儲、Web站點、移動應用、公共檔案夾等。
CPFS并行檔案系統 通用性NAS能夠覆寫企業百分之八十的應用場景。但是在一些行業的特殊場景、如AI、深度學習等，資料量非常巨大，通用性NAS是無法承受如此巨大的壓力的。是以，阿裡雲與Intel合作，根據AI時代大資料量的需求，研發了CPFS并行檔案系統。該系統的架構如上圖所示：底層依賴于盤古分布式存儲；中間一層是Intel的Luster的協定和架構；最上層是客戶計算節點，該系統利用了盤古存儲的高可靠和擴充性，同時又兼具Luster并行檔案系統高吞吐協定，能夠實作單個檔案系統1TBps吞吐，1億IOPS。
CPFS并行檔案系統——場景 目前CPFS系統處于公測階段，使用者可以在CPFS的官網上申請測試使用。這裡，強烈推薦無人機、大資料分析、高校科研、人工智能、安防大資料、個人信用畫像、工業制造、生命科學等業務在雲上試用下CPFS并行檔案系統；此外，CPFS不僅僅在公有雲上，在大客戶的專有雲上也有對應的輸出。
NAS檔案存儲——網絡通路方式 檔案存儲和對象存儲有很大的差別。目前，NAS檔案存儲支援多種網絡連結模式，包括VPC、經典網絡和IDC直連，其中VPC方式是我們最推薦的一種方式，最為安全。三種方式的具體實作結構如上圖所示。
NAS File Sync檔案同步 NAS File Sync檔案同步是雲存儲團隊上個月剛推出的服務，該服務使得客戶在雲上的資料得以“流動”起來，支援使用者本地資料中心、阿裡雲NAS、阿裡雲雲盤之間的自由流動以及跨區域複制，進而實作資料全生命周期管理，實作熱、冷資料分層（熱資料采用檔案存儲，冷資料采用對象存儲）。
NAS File Sync檔案同步的操作十分簡單：第一步，建立資料源；第二步，建立檔案同步任務。僅需在控制台上簡單的兩步操作就可以實作檔案同步。通過對檔案同步進行擴充，現在也支援跨區域的檔案同步，通過在控制台設定跨區域複制，就可以實作不同區域（如圖示華北、華南）的檔案同步。
上圖對目前NAS産品進行了總結，這裡不再一一陳述，使用者可以根據自身業務的特點和産品的适用場景選擇性的使用。
NAS檔案産品使用案例
下面結合上面提到的幾個産品，具體講解一下使用場景。
NAS/CPFS并行檔案系統 ——基因測序存儲利器 上圖是NAS産品在基因行業的一個具體案例。目前，國内Top3的基因公司都在使用阿裡雲的檔案存儲服務。基因公司其中具有代表性的業務場景是數百TB/月測序儀下機資料通過計算和存儲進行後續的測序任務。針對這類業務，我們推薦使用CPFS并行檔案系統，在實地測試中，CPFS在17分鐘内加載完1萬個人類全基因組下機資料。通過使用CPFS檔案并行系統，整體優化效果十分明顯，業務流程由之前的5個小時縮短到1，5個小時以内；同時，雲上資源按需使用，TCO降低70%。
NAS Plus 極速IO—搭建高性能彈性Web Server 在Web Server方面，阿裡雲的某個客戶的業務規模達到日活數百萬。在沒有極速IO之前，該客戶的前端計算業務負負載存在較大壓力。該客戶目标是在六個月内會增加到上千萬日活，原來的架構是遠不能支援這一目标。通過在阿裡雲上建構高性能Web Server，采用NAS Plus極速IO檔案系統和基于RDMA的網絡以及NVMe SSD，能夠提供穩定、500us的超低延遲時間和1M IOPS。通過壓測，滿足每天千萬數量級小檔案讀寫能力；同時通過異步資料複制，實作跨Region災備能力，實作業務高可用。
NAS Plus智能緩存——支撐雲上視訊非編系統 視訊行也對IO要求也是極高的。NAS Plus智能緩存通過在用戶端安裝agent，實作對使用者IO進行兩個方面優化：一是預讀，視訊行業在做非編業務時，是将大量資料順序讀到計算節點中，是以可以通過預讀加速；二是本地寫聚合，所有寫操作在本地進行緩存，進行聚合後再一起寫下來。經過測試，NAS Plus可以支撐16台雲圖站每台20層4K高清編輯，業務流程縮短5倍，同時TCO降低60%。
NAS檔案系統—雲上大規模渲染 NAS檔案存儲配合批量計算BCS形成了雲上大規模渲染方案。阿裡雲在國内外有着大量的渲染客戶，電影渲染對計算的要求是十分之高。客戶在後期渲染時，需要雲上數千台GPU同時運作，而一般的公司本地最多也就是幾百台的規模，無法實作大規模場景渲染，是以需要将相應的素材資料和鏡頭資料上傳到雲端，利用雲上的批量計算BCS同時加載幾千個計算節點，從後端同時讀取相應的素材資料進行渲染。在上圖所示的架構中，我們在計算節點和NAS檔案存儲中增加了全局分布式緩存，使得幾千個計算節點避免同時從NAS系統中讀取資料。NAS檔案存儲配合批量計算BCS形成了雲上大規模渲染方案。
NAS檔案系統——助力AI和機器學習 對于近年來相當火爆的AI和機器學習，所需的資料量越來越大，模型訓練要求的計算資源也越來越多。目前，阿裡雲在華北提供了一個大型GPU渲染資源池，專門服務此類客戶。客戶的所有資料通過阿裡雲高速通道上傳到NAS檔案存儲中，通過GPU計算資源來進行模型訓練，大大提升了模型疊代速度。
NAS檔案存儲——全球部署
NAS檔案系統從2016年3月份上線，同年9月份公測，截止今日，曆經兩年多的風雨。最初，NAS主要服務于國内客戶，集中于華北、華南、華東地區。目前，在阿裡雲全球19大Region，NAS已經在16個Region（圖示綠點）開服，在2018年，将會實作全球19個Region的NAS全覆寫。是以，當企業上雲之路遇到困難時，不妨考慮下阿裡雲存儲！
本文由雲栖志願小組劉崇鑫整理編輯