VSAN那麼好，使用者還會考慮其他存儲方案嗎？
VMWare vSphere是業界領先的虛拟化平台，VSAN是一種新型的分布式軟體定義存儲，vSphere+VSAN可謂是完美的虛拟化整體解決方案。但是，永遠不要低估使用者的訴求，隻要存在較大的實際動力，在一些特定的場景下，使用者就會主動尋求替換VSAN的存儲解決方案。
TaoCloud SSAN就是其中一種絕好的替換VSAN方案。SSAN是典型的分布式塊存儲，SSAN+vSphere這兩者計算存儲超融合可提供一體化的虛拟化/私有雲解決方案，同樣可以幫助客戶獲得更好的高性能、高可用、擴充性、業務連續性、簡化管理、更低的整體成本。
本文介紹TaoCloud SSAN + VMWare vSphere的超融合解決方案，重點闡述方案架構、系統部署、系統測試等内容，旨在為技術人員進行POC測試或系統實施提供參考。
一、VSAN簡介
VMware VSAN，全稱VMware Virtual SAN，簡稱VSAN。我們可以把VSAN看成是一種vSphere Storage，是vSphere虛拟機後端的企業級高性能存儲。VSAN其實就是基于伺服器端存儲的共享分布式對象存儲系統，可以用來取代vSphere後端的外置磁盤陣列。
以往vSphere後端的共享存儲需要外置磁盤陣列，才能支援vSphere各種進階功能，如vMotion、HA、FT、DRS等。現在，在許多場景下，VSAN能夠支援得更好，因為VSAN是内嵌到vSphere核心的進階功能，它使用和管理極其簡單，可以完美地配合VMware SPBM實作基于存儲政策驅動的自動化，以虛拟機甚至VMDK的顆粒度配置設定存儲資源，還能與vSphere各種其他功能無縫地緊密地內建在一起。
VSAN把vSphere叢集伺服器各個節點内的SSD(固态硬碟)和HDD(硬碟)，聚合在一起，構成一個共享的存儲池。然後，再由存儲池按照預先建立好的存儲政策(使用者不建立，則自動使用系統預設政策)，配置設定存儲空間給叢集内的虛拟機使用。如果借助NAS插件，也可提供共享的檔案空間給其他叢集，或者實體機使用。
VSAN是一種基于軟體的分布式存儲解決方案，可在任何标準X86伺服器上運作，隻要I/O Controller (控制器)、SSD和HDD在VSAN HCL (Hardware Compatibility List，相容清單)内，就可運作。VSAN的HCL非常豐富，是以VSAN為使用者的選型提供了非常高的靈活性。
(注：以上VSAN簡介引自微信公衆号”樂生活與愛IT”，感謝Peter Ye)
二、SSAN簡介
TaoCloud SSAN是典型的ServerSAN産品，遵循軟體定義存儲理念，可從X86伺服器硬體平台的本地存儲資源中建立基于伺服器的SAN，以便按需提供具有彈性的、可擴充的存儲容量和性能。SSAN采用去中心化的全對等Share-nothing架構，融入Scale-out分布式塊存儲技術，閃存優化技術，超融合技術，安全加強技術，建構高效、可靠、智能、彈性的存儲計算平台。
SSAN采用Scale-out橫向擴充存儲架構，聚合X86伺服器内的存儲和計算資源，可最小從3個X86伺服器節點動态擴充到上千個X86伺服器節點，實作EB級的海量存儲容量和大規模I/O并行的存儲性能。SSAN支援動态的性能擴充，随着新存儲節點的加入，整體性能持續線性增加。
SSAN遵循SDS軟體定義存儲的設計理念，充分整合各類 IT硬體能力（CPU、記憶體、總線、磁盤、網絡等），以存儲軟體的高度優化和硬體資源最大化利用為目标，建構高效，智能、可持續更新的開放型軟體定義存儲系統。SSAN集合多種企業級資料服務功能（例如 QoS、自動精簡配置和快照），可實作大規模、高可靠、高性能、超融合的存儲應用，非常适合對可擴充性和存儲性能要求不斷提升的應用場景，如資料庫、虛拟化、雲計算等。
針對虛拟化應用場景，SSAN支援融合/超融合部署模式，每個SSAN存儲節點同時也是計算節點，通過标準iSCSI接口實作高效的I/O資料通路。在SSAN中可配置高性能SSD媒體，實作存儲加速或自動分層部署。SSAN支援高效的快照機制，可支援無限數量的并發快照，非常适合虛拟化應用中的虛拟機批量建立/克隆等需求。
TaoCloud SSAN分布式融合存儲差異性特點如下：
1）KISS簡單系統，無中心對稱式系統架構；
2）單卷最大256TB，卷級備援政策，支援副本和糾删碼；
3）iSCSI标準接口，支援多路徑，易于對接各種應用系統；
4）支援FC和NAS（NFS/CIFS/FTP）協定導出；
5）單一叢集支援多個存儲池，支援實體和融合部署；
6）WebGUI管理系統，支援三員分立權限管理；
更多SSAN産品資料請從http://www.taocloudx.com 擷取。
三、超融合方案
3.1、vSphere+SSAN超融合方案
VMWare vSphere是業界領先的虛拟化平台，可用于桌面雲和伺服器虛拟化。以前，vSphere采用傳統的SAN/NAS外置存儲，無論在性能、可用性、擴充性、管理性、成本等方面都是極大的挑戰，實際應用中難以滿足需求，還要承擔極高的成本。目前，vSphere主推VSAN替換傳統的SAN/NAS存儲，VSAN内嵌于vSphere核心中，它是一種軟體定義的分布式存儲，可以更好地實作vMotion、HA、FT等進階功能和更高的性能，技術上堪稱是vSphere完美的存儲解決方案。
那麼問題來了，VSAN那麼好，使用者還會考慮其他存儲方案嗎？答案是肯定的。永遠不要低估使用者的訴求，隻要存在較大的實際動力，在一些特定的場景下，出于成本、管理、立舊、跨平台、本地化支援等諸多因素考慮，使用者就會主動尋求替換VSAN的存儲解決方案。以下是一部分源自實際的客戶訴求，例如：
1）項目預算不足，VSAN成本太高，按VDI/CPU/Core許可；
2）VSAN對硬體配置和相容性要求過高，SSD基本是必需的；
3）使用者使用免費版的VMWare vSphere，不可能再購買VSAN許可；
4）作為獨立存儲替換傳統SAN/NAS存儲，VSAN無法作為獨立存儲；
5）同時支援多種虛拟化平台，比如KVM、XEN、OVM；
6）伺服器以及存儲資源立舊，VSAN對硬體要求高；
針對如上特定場景需求，TaoCloud SSAN就是其中一種絕好的替換VSAN方案。vSphere支援NFS/iSCSI/FC等外部存儲系統，SSAN采用标準的iSCSI接口與其進行對接和融合。
TaoCloud SSAN是典型的Server SAN，借助于軟體定義存儲、開放式X86标準架構和高性能SSD存儲媒體，SSAN可以替換傳統SAN/NAS存儲，更好地滿足虛拟化對存儲的新需求。采用TaoCloud SSAN建構分布式塊存儲平台，提供可靠、高效的資料存儲服務，可以實作模闆資料、鏡像資料、配置資料、業務資料的統一存儲。SSAN可與VDI主機實作融合部署，進一步提升I/O效率比降低成本。根據性能、成本綜合考慮，可配置全SSD模式或SSD+HDD混合模式。VDI主機與SSAN之間可通過iSCSI對接，SSAN的SSD Cache功能可實作在配置少量SSD的情況下實作很高的性能，高效的ROW快照及克隆功能可支援快速、批量的建立虛拟機。實踐表明，TaoCloud SSAN可以很好地支援VMWare vSphere虛拟化平台，作為替換VSAN的一種絕好的選擇。
SSAN支援實體分離和融合/超融合部署方式。簡單地講，實體分離即計算(這裡指虛拟化)和存儲各自獨立部署，存儲通過iSCSI/FC實體連接配接到計算節點。超融合是融合的一個子集，融合是指計算和存儲部署在同一個節點上，相當于多個元件部署在一個系統中，同時提供計算和存儲能力。融合系統中，計算和存儲仍然可以是兩個獨立的元件，沒有互相依賴關系。比如，TaoCloud SSAN+oVirt方案，一個節點的Redhat/CentOS系統上SSAN和oVirt實體融合，共享主機的實體資源。超融合架構最早由Nutanix提出，它與實體融合不同在于，重點以虛拟化計算為中心，計算和存儲緊密相關，存儲由虛拟機而非實體機CVM(Controller VM)來控制并将分散的存儲資源形成統一的存儲池，而後再提供給Hypervisor用于建立應用虛拟機。
這裡采用SSAN+vSphere超融合架構方案，每台實體伺服器既是vSphere計算節點，同時也是SSAN存儲節點。每一個vSphere主機需要先配置一個虛拟機作為控制器(CVM)，并将實體主機上的磁盤和網卡透傳給CVM，所有CVM上部署SSAN并形成統一的存儲池，使用者虛拟機均建立在這個存儲池上。超融合架構實作了計算、存儲、網絡等資源的統一管理和排程，具有更彈性的橫向擴充能力，極大簡化了複雜IT系統的設計，這種方案可以更好地提高資源利用效率，進一步降低了成本。方案優勢如下：
1）彈性存儲，支援線上快速擴容；
2）高可用存儲，資料多副本，存儲不中斷；
3）高性能存儲，閃存優先，本地I/O優先，高效的快照和克隆；
4）iSCSI标準接口，支援各類VDI平台；
5）超融合架構，進一步提升效率，降低成本；
6）支援定制化開發，滿足個性化的資源管控需求；
3.2、方案拓撲
為了便于方案POC測試，這裡采用3節點超融合架構方案，實際應用根據需求确定叢集規模。SSAN采用副本方式保證資料安全性和可用性，副本政策可以根據實際需求靈活設定，POC測試采用三副本政策。存儲媒體推薦全SSD或SSD＋HDD，網絡互連建議10GbE，POC環境采用全SSD/萬兆。測試拓撲如下：
3.3、硬體環境
| 硬體項目 | 配置 | 數量 | 提供者 |
| X86伺服器 | E5 2620v2雙路CPU; 64GB記憶體; | 3台 | |
| SSD | Intel DC3700 400GB | 6塊 | |
| 萬兆網卡 | Intel X520-SR2萬兆網卡 | 3塊 | |
| 萬兆交換機 | 48口博科10GbE交換機 | 1台 | |
| 萬兆子產品和網線 | SFP＋光纖 | 3套 |
3.4、軟體環境
| 軟體項目 | 配置 | 提供者 |
| VMWare vSphere | 6.0試用版 | VMWare |
| CVM OS | CentOS 6.7 x86_64 (2.6.32-573) | 使用者/TaoCloud |
| SSAN | 1.3.2 | TaoCloud |
| IP位址 | 3個管理IP ＋3個資料IP，分為兩個網段 | 使用者 |
四、系統部署
4.1、vSphere部署
VMware vSphere是一套伺服器虛拟化解決方案，核心元件包括ESXi Hypervisor和vCenter Server。ESXi是一個hypervisor，類似于Xen的虛拟層，用于把X86伺服器的硬體進行虛拟化。一旦一台X86伺服器硬體上安裝了ESXi，底層的硬體就被虛拟化了，可以用這台伺服器建立、配置、多個虛拟機。vCenter伺服器是用于管理一個或者多個ESXi伺服器的工具。
vSphere詳細部署請參考官方文檔，這裡僅作簡要介紹。
4.1.1 準備工作
ESXi Hypervisor需要CPU虛拟化（VT）功能支援，CVM透傳磁盤需要AHCI功能支援。開機啟動進入BIOS設定，開啟虛拟化VT功能和AHCI功能。
4.1.2 ESXi部署
ESXi對硬體相容性要求比較高，需要硬體型号在HCL相容性清單當中，包括伺服器、CPU、磁盤、網卡、RAID卡、SSD等，否則系統将無法成功安裝。安裝過程中，首先檢查硬體相容性，确認磁盤和網卡資訊，如果需要支援HA和FT，則至少需要兩塊以上網卡，官方建議6塊網卡。為了安全性，建議修改預設ROOT帳戶密碼。安裝完成重新開機後，建議修改ESXi主機的IP、Hostname、DNS等網絡資訊。
ESXi是基于linux的系統，可以通過vSphere Client來連接配接，也可以使用vCenter Server連接配接ESXi，都是基于圖形化界面來管理系統。vSphere Client管理非常有限，諸如vMotion等功能都不能操作，是以建議使用vSphere Client連接配接vCenter Server伺服器來實作對多台ESXi伺服器的管理。
4.1.3 硬體透傳
超融合架構中，出于性能考慮，需要将主機PCIe實體裝置透傳（Pass Through）給SSAN控制虛機CVM。選擇ESXi實體主機，在配置-->進階設定中标記需要直通的裝置，配置完需要重新開機ESXi實體機生效。
4.1.4 CVM建立
SSAN+vSphere超融合架構，每台實體伺服器既是vSphere計算節點也是SSAN存儲節點。每一個ESXi主機需要先配置一個虛拟機作為控制器(CVM)，并将實體主機上的磁盤和網卡透傳給CVM。這裡有三個ESXi節點，分别在其上建立了ssan-test01、ssan-test02、ssan-test03作為SSAN CVM，并将透傳的磁盤和網卡配置設定給CVM。
4.2、SSAN CVM部署
4.2.1 CVM OS安裝
每個vSphere節點上分别建立好一個CVM控制虛拟機，之後進行作業系統和相關軟體的安裝。每個CVM安裝相同版本的作業系統，Linux OS采用CentOS 6.7 x86_64 (2.6.32-573)最小模式。如果是Intel的萬兆網卡和SSD，Centos 6.7可以直接支援，不需要額外安裝驅動。其他廠商的萬兆網卡和SSD，請按照廠商文檔安裝對應驅動。
4.2.2 SSAN軟體安裝
SSAN叢集節點自動化進行安裝配置，直接執行ssan_install.sh即可。
(1)叢集節點自動安裝
./ssan_install.sh
輸入節點序号（如0, 1, 2），将自動安裝SSAN軟體包，并自動進行相關系統配置。SSAN每個節點上執行此步驟，多個節點可以并行安裝。第一個節點安裝時，如果SSAN叢集配置檔案ssan_install.conf不存在，則會進行互動式輸入，也可以手動編輯，其他節點可以直接使用此配置檔案。
互動輸入資訊包括：
ssan_node_nr： ssan節點數量，預設是3；
zk_node_nr： zookeeper節點數量，預設是3；
zk_client_port： zookeeper用戶端端口，預設是2181；
zk_server_port： zookeeper伺服器端口，預設是2888:3888；
ntp_server： NTP服務IP位址，可選配置項，保證節點時間同步即可；
webgui_server： ssan webgui管理節點IP，可選配置項，推薦配置；
node1_mip： 第1個節點管理IP，必填配置項；
node2_mip： 第2個節點管理IP，必填配置項；
node3_mip： 第3個節點管理IP，必填配置項；
(2)啟動叢集服務
SSAN叢集管理依賴zookeeper、sagentd和suiagentd服務。叢集所有節點安裝配置完成後，需要在每個節點手工啟動服務，或者直接reboot也可以。請确認每個節點以上服務都處于Running狀态。
4.2.3 WebGUI安裝
SSAN支援指令行和WebGUI兩種管理模式，推薦使用WebGUI進行叢集管理。管理節點可以單獨部署，也可以部署在其中一個SSAN節點上。這裡我們選擇第一個節點作為管理節點。
./ssanweb_install.sh
第一個節點上直接運作上述ssanweb安裝腳本，自動安裝ssanweb-1.3.2-1.el6.x86_64.rpm和webgui運作環境所需求的依賴包，包括httpd、mysql、php等，并自動完成webgui運作環境的配置。安裝完成後，請确認mysqld、httpd服務處于Running狀态。
4.2.4 SSAN叢集配置
SSAN遵循大道至簡的設計原則，系統管理和應用非常簡易友善，系統采用基于WebGUI的多語言圖形化管理界面，管理者可以輕松進行配置、監控和管理。對于一個全新部署的SSAN系統，建議采用如下順序進行配置管理。
(1)增加節點：叢集由多個實體節點組成資源池，必須先有叢集節點；
(2)初始化磁盤：叢集節點的磁盤資源，需要初始化才能夠被SSAN管理和使用；
(3)建立OSD：OSD管理一個節點上一塊或多塊實體磁盤，它提供對象存儲功能；
(4)啟動SSAN：一個SSAN節點有一個或多個OSD程序組成，啟動以激活存儲資源；
(5)初始化叢集：第一次啟動需要初始化叢集，之後叢集資源才能正常使用；
(6)建立虛盤VD：叢集正常後可以随意建立虛拟磁盤，相關配置在建立時指定；
(7)建立iSCSI Target：SSAN采用iSCSI協定通路，需要虛盤建立iSCSI目标端；
(8)iSCSI發現與登入：用戶端采用iSCSI協定通路虛盤存儲資源；
4.2.5 建立虛拟磁盤
這裡我們把vSphere中所需要的全部存儲都放置于SSAN存儲池中，包括vCenter虛拟鏡像、VM模闆和VM資料存儲。在SSAN WebGUI管理平台中建立三個虛拟磁盤VD，均采用三副本備援政策，容量均為200G。
4.3、vSphere配置
前面我們已經部署好vSphere和基于CVM的SSAN系統，接下來我們将把SSAN存儲資源配置設定給vSphere，并部署vCenter來管理vSphere叢集。iSCSI多路徑、虛拟HA和FT，這是需要特别注意的配置。
4.3.1、配置SSAN存儲
SSAN CVM部署中已經建立好三個200GB的虛拟磁盤ssan-test1、ssan-test2、ssan-test3，通過vSphere Client連接配接ESXi進行存儲配置。SSAN采用标準iSCSI協定與ESXi連接配接，可以使用一個或多個虛拟磁盤，出于性能考慮，這裡為每一個ESXi配置一個虛拟磁盤，并設定三條iSCSI多路徑，故障切換政策為Failover。測試性能時，建議将客戶虛拟機均衡建立在三個SSAN存儲域。
4.3.2、vCenter部署
VMware vCenter是VMware vSphere套件中一個強大的主機和虛拟機集中管理元件，vSphere許多進階功能，隻有在vCenter下才可以配置實作，并且vSphere許多管理子產品隻能內建安裝在vCenter環境中，無法獨立安裝運作，通過對vCenter的管理可以對一台或者多台VMware vSphere進行管理配置，是以VMware vCenter是VMware vSphere的主要管理平台。
vCenter Server可以采用實體伺服器或者ESXi虛拟機安裝，這裡采用虛拟機，記憶體8GB，64位Windows Server 2008。安裝過程這裡不再贅述，具體請參考官方部署文檔。成功安裝後，使用vSphere Client連接配接vCenter Server，就可通過管理界面管理資料中心、叢集、vSphere主機、HA、FT、vMotion等功能。這裡我們建立了一個ssan-test資料中心和test123叢集，叢集中包括了三個vSphere主機節點，叢集中已經建立好三個SSAN CVM，以及之前部署的vCenter Server。
4.3.3、配置叢集HA
vShpere HA功能用于檢測故障，對叢集中運作的虛拟機提供快速恢複功能。核心功能包括主機監控和虛拟機監控功能，用于在檢測不到信号時最大程度地縮短停機時間。必須打開vShpere HA功能，才能使用FT（Fault Tolerance）功能。HA、FT都必須在叢集模式下才能應用，建立叢集時打開vsphere HA和DRS，啟用主機監控。
4.3.4、配置虛機FT
vSphere Fault Tolerance (FT) 通過建立始終與主虛拟機保持同步的虛拟機實時卷影執行個體，使應用在伺服器發生故障的情況下也能夠持續可用。一旦出現硬體故障，vSphere FT 就會自動觸發故障切換，確定零停機并防止資料丢失。故障切換完畢後，vSphere FT 會自動建立一個新的輔助虛拟機來為應用提供持續保護。
FT功能是針對每個虛拟機單獨配置的，主要是面向關鍵應用的虛拟機，一般的應用虛拟機配置叢集HA功能即可。虛拟機啟用FT功能後，同一個虛拟機就會出現兩個虛拟機：主虛拟機和輔助鏡像虛拟機，其中輔助虛拟機是隻讀的，可以通過FT測試功能測試虛拟機的切換。
五、系統測試
5.1、功能測試
1、測試方法
按上述方法和步驟成功部署和配置SSAN+vSphere計算存儲超融合系統，我們就可以将vSphere中所有的虛機存儲放置于SSAN存儲池，包括vCenter Server、CVM和Guest VM所涉及的Image鏡像和雲盤存儲。功能測試重點驗證資料存儲域、虛拟機磁盤、快照克隆復原等正常存儲功能點，均在vCenter管理系統中進行操作。功能測試場景非常多，這裡列舉了一部分存儲相關核心測試用例。
2、測試場景
5.2、高可用測試
1、測試方法
SSAN提供了多種資料可靠性和可用性機制，包括副本/糾删碼機制、iSCSI多路徑，為vSphere的高可用性提供基礎支撐，包括vCenter和Guest VM的高可用。這裡重點模拟iSCSI路徑故障和主機故障來驗證SSAN和vSphere的安全性和高可用性，包括HA和FT功能。
2、測試場景
5.3、性能測試
1、測試方法
性能是評估一個存儲産品最為關鍵的名額，包括IOPS、帶寬和延遲，這裡采用FIO進行測試分析。
FIO是一個I/O标準測試和硬體壓力驗證工具，它支援13種不同類型的I/O引擎，支援塊裝置和檔案系統測試，廣泛用于标準測試、QA、驗證測試等，支援Linux, Windows等作業系統。
2、測試場景
六、總結
VMWare vSphere是業界領先的虛拟化平台，廣泛用于桌面雲和伺服器虛拟化。VSAN是一種新型的分布式軟體定義存儲，内嵌于vSphere核心中，可以更好地實作vMotion、HA、FT等進階功能和更高的性能，vSphere+VSAN可謂是完美的虛拟化整體解決方案。然而在一些特定的場景下，出于成本、管理、立舊、跨平台、本地化支援等諸多因素考慮，使用者就會主動尋求替換VSAN的存儲解決方案。
SSAN是典型的Server SAN，借助于軟體定義存儲、開放式X86标準架構和高性能SSD存儲媒體，SSAN可以替換傳統SAN/NAS存儲，更好地滿足虛拟化對存儲的新需求。SSAN支援實體分離和融合/超融合部署方式，可以更好發揮本地存儲優先通路政策優勢，可以提高資源利用效率，進一步降低了成本。
實踐表明，SSAN+vSphere超融合架構可提供一體化的虛拟化/私有雲解決方案，SSAN是一種絕好的替換VSAN方案。
（全文完）