一文讓你秒懂存儲虛拟化

一、存儲虛拟化概念

   儲存設備的能力、接口協定等差異性很大，存儲虛拟化技術可以将不同儲存設備進行格式化，将各種存儲資源轉化為統一管理的資料存儲資源，可以用來存儲虛拟機磁盤、虛拟機配置資訊、快照等資訊。使用者對存儲的管理更加同質化。

    虛拟機磁盤、快照等記憶體均以檔案的形式存放在資料存儲上，所有業務操作均可以轉化成對檔案的操作，操作更加直覺、便捷。

    存儲虛拟化可以解決傳統DAS、NAS存儲架構中單點故障的問題，可以保證存儲的可用性和連續性。

實作存儲虛拟化，最核心問題就是如何實作從邏輯位址到實體位址的轉換

二、存儲虛拟化的分類

根據SAN中存儲虛拟化實作方式的不同,可以劃分為三個層次:主機級、儲存設備級和存儲網絡級。

  (1）主機級

主機的虛拟化将虛拟化層放在SAN中的應用伺服器上,通過改造作業系統的檔案系統層或者裝置層來完成卷邏輯位址到實體位址的轉換，這種方式實作起來比較簡單，但是存在單點故障和安裝調試複雜的缺點。

  ⑵儲存設備級

即将存儲虛拟化實作在實際的實體儲存設備上面，例如磁盤陣列。這樣的做法的特點是相容性高,屏蔽各種作業系統的細節,但是在跨盤陣的分布式虛拟化的設計上有局限性。

  (3）存儲網絡級

特點為充分利用網絡資源，在實作過程中，既能使使用者感覺不到虛拟化的存在，而且操作上屏蔽各種細節，符合存儲網格的發展趨勢，同時具有很高的擴充性、靈活性。

• 存儲虛拟化可分為“帶内”和“帶外”兩種基本類型。兩者最顯著的特點是管理路徑和生産路徑是否重疊，如果重疊，會發生争用帶寬的問題，使得生産系統的效率降低。帶内虛拟技術是在資料讀寫的過程中，在主機到儲存設備的路徑上實作存儲虛拟化;而帶外虛拟技術，是在資料讀寫之前，就已經做好了虛拟工作，而且實作虛拟的部分并不在主機到儲存設備的通路路徑上，是以帶内虛拟技術可以基于主機、網絡、裝置和網絡實作，而帶外虛拟技術則隻能是基于存儲網絡實作。

三、存儲模型

    存儲虛拟化是将儲存設備抽象為資料存儲，虛拟機在資料存儲中作為一組檔案存儲在自己的目錄中。

資料存儲是邏輯容器，類似于檔案系統，它将各個儲存設備的特性隐藏起來，并提供一個統一的模型來存儲虛拟機檔案。

• 一個存儲資源可以有多個儲存設備
• 一個資料存儲和一個儲存設備對應
• 資料存儲承載了具體的虛拟機業務，例如建立磁盤等

FusionCompute可使用的存儲資源來自主機本地磁盤或專用的儲存設備。專用的儲存設備與主機之間應通過網線或光纖連通。

例如：将一個SAN裝置【存儲資源】配置設定的一個LUN【儲存設備】接入到FusionCompute環境成為一個資料存儲【資料存儲】，可以在該資料存儲上建立運作業務的虛拟機，對外提供服務。

華為雲計算存儲模型

存儲資源

•  FusionCompute的存儲資源包括:

IP SAN、FC SAN、Advanced SAN、本地磁盤、FusionStorage和NAS

。IP SAN是通過iscsi鍊路和主機建立連接配接。

。FC SAN是通過光纖通道和主機連接配接的，主機連接配接SAN裝置後可以掃描儲存設備(LUN) 。

。Advanced SAN是通過SMI-S接口掃描、管理磁盤的。

• Advanced SAN是一種特殊的IP-SAN，相容華為OceanStor 系列存儲。
• Advanced SAN與VIMS不同的是，在建立虛拟機磁盤時建立的是LUN，并與虛拟機進行綁定。作為虛拟機的磁盤使用
• Advanced SAN在Advanced SAN V3存儲中建立的磁盤，實體裝置需要一部分空間用以儲存中繼資料，進而會帶來一些空間損耗。

• SMI-S （Storage Management Interface Specification 存儲管理接口标準）是SNIA開發的一種标準管理接口，旨在減輕多廠商SAN（存儲區域網絡）環境的管理負擔。SMI-S 為各種網絡元件提供了一個通用管理接口，減小了SAN管理的複雜性。

。FusionStorage是通過其管理結點提供的接口管理存儲的。

• FusionStorage是華為Server SAN産品；Server SAN是利用存儲軟體和伺服器建構起來的SAN存儲技術。

。NAS通過NFS協定掃描和挂載共享目錄。

•  主機通路存儲資源:

。先需要添加存儲資源。

。再標明主機并關聯存儲資源。

存儲資源使用對比

• 存儲解除安裝：指将部分存儲操作（模闆部署、删除清零等操作）下移到存儲側進行，這樣做可以不浪費主機側資源，同時也可以提升操作效率。
• 虛拟化：對于LUN或者本地磁盤，在不支援虛拟化的場景不能支援快照，連結克隆等進階功能，但是所建立的卷具有很好的性能。虛拟化後的資料存儲，支援各種進階功能，卷格式也支援多種，但是性能低于非虛拟化的儲存設備。

儲存設備

• FusionCompute的儲存設備有五種： LUN 、本地磁盤、Advanced SAN存儲池、FusionStorage存儲池和NAS共享目錄。
  • LUN在使用前需要在存儲側或者交換機側進行配置。該配置根據不同的廠家會不一樣，具體需要參照存儲或交換機配置。
• 儲存設備需要通過主機探測的方式進行掃描來發現
  • 主機需要連結存儲資源後才能掃描存儲資源所包含的儲存設備。
  • 每個主機都能發現各自的儲存設備，也能發現共享的儲存設備。

資料存儲

• 資料存儲是在儲存設備上建立的邏輯管理單元：
  • 資料存儲需要建立在指定的儲存設備上，且一個儲存設備隻能建立一個資料存儲。
  • 資料存儲和主機關聯，為主機提供資源，資料存儲可以關聯到多個主機，一個主機也可以使用多個資料存儲。
• 資料存儲的使用：
  • 儲存設備必須被添加為資料存儲才能被使用。
  • 資料存儲可用于存放虛拟機磁盤、快照檔案。
  • 資料存儲的大小依賴于儲存設備的大小。

• 計算叢集有共享儲存設備時，基于該儲存設備建立的資料存儲被關聯給計算叢集中的每個主機。
• 資料存儲是FusionCompute對存儲資源上的存儲單元進行的統一封裝。存儲資源封裝成資料存儲并與主機關聯後，就能夠進一步建立出若幹虛拟磁盤，供虛拟機使用。

• 能夠封裝為資料存儲的存儲單元包括：

•  SAN存儲（包括iSCSI或光纖通道的SAN存儲）上劃分的LUN。
• Advanced SAN存儲。
• NAS存儲上劃分的檔案系統。
• FusionStorage上的存儲池。
• 主機的本地硬碟。
• 主機的本地記憶體盤。

四、虛拟化存儲連接配接

      1.FC SAN存儲場景

      2.IP SAN存儲場景

       3.NAS存儲場景

虛拟化的存儲棧

檔案系統

• 檔案系統作用在于提供檔案操作接口，屏蔽儲存設備的差異，為虛拟化卷檔案提供存放空間。
• 目前FusionCompute所使用的檔案系統為：VIMS、EXT4、NFS。
• 計算叢集共享儲存設備上的檔案系統即為：VIMS檔案系統或NFS檔案系統。
• 未加入計算叢集的主機，且僅有本地磁盤；該主機的檔案系統使用Ext4檔案系統。

五、存儲虛拟化特性

  1.精簡磁盤和空間回收

功能特性

• 支援建立精簡磁盤，可以随着使用者使用而自動配置設定空間。
• 膨脹的精簡磁盤不會随着使用者删除資料而縮小，使用空間回收工具可以将使用者删除的資料空間釋放到資料存儲。

适用場景

• 精簡磁盤可應用于局點運作初期，使用者磁盤使用率低的情況。能夠降低初始存儲投資及維護成本。儲存設備隻儲存有效資料，不儲存預留白間，可以提高存儲資源使用率。
• 空間回收可以提高精簡磁盤的使用/配置設定比，提高存儲使用率。

2.快照原理和應用

快照功能特性

• 快照記錄了虛拟機在某一時間點的内容和狀态。
• 通過恢複虛拟機快照使虛拟機多次快速恢複到這一時間點。
• 快照包含磁盤内容、虛拟機配置資訊、記憶體資料。
• 多次快照之間儲存差量資料，節約存儲空間。

适用場景

• 虛拟機使用者在執行一些重大、高危操作前，例如系統更新檔，更新，破壞性測試前執行快照，可以用于故障時的快速還原。
• 使用者觸發的建立快照和恢複快照操作。

2.1存儲虛拟化的快照

建立快照時會生成一個新的差分卷，虛拟機會挂載這個差分卷作為磁盤檔案，虛拟機的讀請求會重定向到源卷中。

建立快照采用了ROW（Redirect on write）技術，快照後的寫操作會進行重定向，所有的寫IO都被重定向到新卷中。所有舊資料均保留在隻讀的源卷中。

2.2快照鍊

磁盤做多個快照後，會産生一個快照鍊。

虛拟機卷始終挂載在快照鍊的最末端。

使用者對一個虛拟機進行多次快照操作，可以形成快照鍊；一個虛拟機生成快照的數量不能超過32個，也是快照鍊的最大長度。

使用者可以将虛拟機從目前狀态恢複到快照鍊中的某個狀态。

快照鍊中任意一個快照都可以删除而不影響其餘快照。

3.連結克隆

連結克隆功能特性

• 連結克隆技術是一種通過将源卷和差分卷組合映射為一個連結克隆卷，提供給虛拟機使用的技術。
• 一個連結克隆模闆可以建立多個連結克隆差分卷，對應建立多個連結克隆虛拟機。
• 新建立的差分卷占用空間很小，随着虛拟機的使用，空間會逐漸膨脹。

适用場景

• 能夠快速、批量部署虛拟機。
• 對于類似的虛拟機，公用的資料可以放在模闆中，提高存儲使用率。

4.虛拟機虛拟磁盤檔案遷移（存儲熱遷移）

虛拟機虛拟磁盤檔案遷移功能特性

• 存儲虛拟化支援将虛拟機的磁盤從一個資料存儲遷移到另一個資料存儲。
• 可以将虛拟機的所有磁盤整體遷移，也可以單個磁盤分别遷移。
• 虛拟機的快照可以一起遷移。
• 虛拟機開啟或者關閉時都可以遷移。

适用場景

• 将資料存儲的所有卷遷移後，可以對資料存儲進行減容。
• 可以調整資料存儲之間的負荷。

六、存儲虛拟化常用功能

1.資料存儲擴容原理

在存儲端對現有的LUN擴容或添加新LUN之後，在FusionCompute端可以将現有的資料存儲進行擴容。資料存儲擴容的空間來自于：

• 原有LUN擴容的新空間
• 新LUN（圖中所示方式）

新增的存儲空間以線性映射的方式追加至虛拟塊裝置末尾。

由于虛拟塊裝置的資訊都是儲存在節點記憶體中，則當其它節點發現資料存儲空間有變化時，會自動更新虛拟塊裝置資訊，完成擴容虛拟塊裝置

1.2虛拟機磁盤擴容

虛拟機磁盤擴容功能特性

• 可以在不影響虛拟機磁盤現有資料的情況下，将虛拟機磁盤容量擴大。
• 支援系統磁盤和使用者磁盤的擴容，但分區合并需要作業系統支援（XP和WIN7支援使用者分區擴容）或第三方工具。
• 部分作業系統支援進行線上磁盤擴容。

适用場景

• 初始磁盤配置設定空間時，可以按需配置設定，後續不夠了可以進行擴容，提高儲存設備使用率。

注意點：

• 虛拟化存儲支援以磁盤擴容的方式，增加虛拟機存儲空間。
• 非虛拟化存儲場景下，隻能通過增加獨立的磁盤來實作。

當磁盤所屬的資料存儲類型為虛拟化本地硬碟、虛拟化SAN存儲、NAS存儲或FusionStorage時，才能增加磁盤容量。

當磁盤所屬的資料存儲類型為NAS存儲，且磁盤的配置模式為普通時，不支援線上增加磁盤容量。

當磁盤所屬的資料存儲類型為FusionStorage時，線上增加磁盤容量需關閉虛拟機後再啟動虛拟機生效。

當磁盤所屬的資料存儲類型為虛拟化本地硬碟、虛拟化SAN存儲、NAS存儲時，線上增加磁盤容量如下作業系統可直接生效，其餘作業系統需重新開機虛拟機生效。

• Windows Server 2003
• Windows Server 2008
• Windows XP
• Windows 7

2.磁盤裸裝置映射

• 存儲直通技術
  • （又稱裸裝置映射，RDM）為虛拟機提供了一種機制來直接通路實體存儲子系統（IPSAN或FCSAN）上的LUN，VM的業務能夠直接通路儲存設備或直接對儲存設備下發控制指令。
• 技術特點
  • 虛拟機直接通過SCSI指令操作裸儲存設備。
  • 相容FC光纖存儲和IP SAN存儲。
  • 通過使用裸裝置映射，可以讓虛拟機識别SCSI磁盤，實作在虛拟機内部下發SCSI指令，交給主機然後透傳給儲存設備進行處理，最後将應答傳回。
• 适用場景
  • 叢集系統軟體，降低大量使用實體伺服器的成本比如Oracle RAC或MSCS 。

3.設定虛拟機磁盤IO上限

• 單個LUN提供最大的BPS和IOPS是由實體裝置所決定的，主要包括硬碟類型，raid組包含盤數等。

• 特性功能：
  • 支援查詢虛拟機各磁盤實時的IO資料。
  • 支援設定磁盤的最大BPS（每秒讀寫位元組數）和最大IOPS（每秒處理IO個數）。
  • 所有存儲類型的虛拟機，都能設定IO上限值，該設定在pvdriver運作時生效。
• 适用場景：

• 設定非重要虛拟機磁盤的IO上限，保證在這些虛拟機業務量大時，不會影響到重要的虛拟機業務