本文提要
- VMware vSphere 共有 4 種快照模式：VMFSsparse 基礎快照、SEsparse、vSANSparse 和 vVols/native snapshots。
- 除了 vVols/native snapshots，VMware vSphere 其他三種快照的性能取決于多種因素，包括 I/O 類型、資料位置、快照深度、redo-log 大小以及 VMDK 的類型等。
- 其中 VMFSsparse->SEsparse->vSANSparse 這幾種快照的演變實際上是快照性能優化的過程：相比 VMFSsparse，SEsparse 通過 4KB 對齊場景優化降低了寫放大和磁盤置零開銷，vSANSparse 在此基礎上又優化了記憶體緩存中繼資料，提高了快照 I/O 性能。但 vSANSparse 依舊無法完全避免快照周遊開銷，同時快照深度增大、快照合并/删除還是會帶來大幅的性能降低。
- 不同于基于 redo-log 檔案和快照鍊結構的 VMware 快照技術，SMTX OS 快照擁有獨立的中繼資料，避免周遊快照；快照中繼資料除了利用記憶體加速，同時做了持久化存儲；使用更大的資料塊進行存儲，有效規避了多種影響快照性能的因素，降低延遲時間、提升快照性能可恢複性。
- 同時，SMTX OS 内多組快照之間互相獨立，删除快照無需合并操作，更快捷、簡單。
相信使用過虛拟機的朋友，對快照功能肯定不陌生。在安裝軟體、變更系統配置等場景都會使用到快照，它可以幫助我們輕松地将虛拟機恢複到特定時刻的狀态。快照功能無疑很友善，但使用 VMware vSphere 執行快照後經常會出現虛拟機性能下降、快照管理複雜等問題，十分影響業務效率。針對這一現象，本文淺析 VMware vSphere 中快照工作原理，并通過對比 VMware vSphere 和 SMTX OS（SmartX 超融合軟體）内的快照機制和實測資料，說明快照執行對虛拟機 I/O 性能的影響。
VMware vSphere 中的快照技術淺析
1.VMware 對于快照的定義
快照可儲存虛拟機在特定時刻的狀态和資料。
- 狀态包括虛拟機的電源狀态（例如，打開電源、關閉電源、挂起）。
- 資料包括組成虛拟機的所有檔案。這包括磁盤、記憶體和其他裝置（例如虛拟網卡）。
虛拟機提供了多個用于建立和管理快照及快照鍊的操作。通過這些操作，使用者可以建立快照、還原到鍊中的任意快照以及移除快照。
2.快照種類
目前 VMware vSphere 的虛拟機快照共有 4 種模式：
- VMFSsparseVMFSsparse 是 VMware 傳統/基礎的虛拟機快照模式，其快照運作原理類似 redo-log。在VMFS5 檔案系統下，虛拟磁盤預設使用 VMFSsparse 格式（.vmdk 檔案小于 2TB）。
- SEsparseSEsparse 運作原理與 VMFSsparse 類似，主要為了改進 VMware Horizon View（虛拟桌面場景）性能而推出的快照類型，并且支援空間回收技術。SEsparse 是 VMFS6 資料存儲上所有增量磁盤的預設格式。在 VMFS5 上，SEsparse 用于大小為 2TB 及更大的虛拟磁盤。
- vSANSparsevSANSparse 格式利用新的 VirstoFS 檔案系統 (v2) 磁盤格式的底層稀疏性和用于跟蹤更新的新記憶體緩存機制，在保留現有的 redo-log 機制的同時提高了快照性能。vSANSparse 隻用于 vSAN 叢集，并要求虛拟機不包含 VMFSsparse 快照。
- vVols/native snapshots這種快照實作并不是由 VMware 層面實作的，而是需要依賴外部存儲的快照功能，VMware 通過 VAAI 或者 vVols 将快照操作 Offload 到存儲端執行。
本文将針對前三種快照模式進行分析。
3.快照原理
（1）VMFSsparse 基礎快照
VMFSsparse 是在建立虛拟機快照或從虛拟機建立連結克隆時使用的虛拟磁盤格式。VMFSsparse 在 VMFS（VMware 專屬的檔案系統）之上實作，其本質上是一個重做日志（redo-log）檔案，建立快照初時它是空的，當有資料變化就記錄到該檔案之上，直至檔案增長到跟原來的虛拟磁盤一樣的大小（當虛拟磁盤上的所有資料都發生了變化）。VMFSsparse 快照實質上是 VMFS 命名空間中的另一個檔案，它随着虛拟機快照建立而産生，它與 VM 的虛拟磁盤檔案（VMDK）一一對應，并記錄虛拟磁盤執行快照後的資料變化。
a. 快照檔案組成
- .vmdk 和 -delta.vmdkVMware 虛拟機上的每個虛拟磁盤都是以 .vmdk 命名的，在執行快照後，虛拟磁盤 .vmdk 檔案會對應生成 -delta.vmdk 檔案。而 .vmdk 和 -delta.vmdk 檔案的集合都會連接配接到虛拟機。-delta.vmdk 檔案可稱為子磁盤檔案。當虛拟機再次執行快照時，這些子磁盤可以被視為未來的子磁盤的父磁盤。在原始父磁盤中，每個子磁盤都将建構一個還原點：提供從虛拟磁盤的目前狀态回退到原始狀态的服務。
- .vmsd.vmsd 檔案是虛拟機快照資訊的資料庫（也可以了解為快照的中繼資料），并且是快照管理器資訊的主要來源。該檔案包含一些行條目，這些條目定義了快照之間以及每個快照的子磁盤之間的關系。
b. 快照鍊
如下圖，原始虛拟磁盤（parent）在示意圖的最下方，它包含未執行快照之前完整的資料塊。第一次執行快照後（示意圖下方起第二層）生成子磁盤（child1）檔案，該快照檔案隻會記錄執行快照後修改過的資料，未被修改過的資料塊不會記錄在子磁盤檔案，而是通路父磁盤對應的資料塊，是以它是一個稀疏的磁盤檔案。當第二次執行快照時（示意圖下方起第三層）生成子磁盤（child2）檔案，原理跟首次快照類似，隻是 child2 的父磁盤變為 child1，child2 将記錄第二次快照後的資料變化，如此類推。
圖檔來源：了解 vSphere 中的虛拟機快照 (1015180)
c. 快照 I/O 原理
如前面提到的，VMFSsparse 快照是在 VMFS 檔案系統之上實作的，其中快照重做日志（-delta.vmdk 檔案）除了記錄了已變化的資料，還同時維護自身的中繼資料，以便實作重做日志上的資料塊的尋址。
重做日志的塊大小是 512 位元組（剛好是一個扇區大小），使得其讀寫粒度可以小到一個扇區。當從一台帶快照的虛拟機發出 I/O 時，VMware 需要通過中繼資料資訊确定資料是在基礎虛拟磁盤（vmdk）上，還是在快照重做日志（-delta.vmdk）上，使得 I/O 能從正确的位置進行服務。快照的性能取決于多種因素，包括 I/O 類型、資料位置、快照深度、redo-log 大小以及 VMDK 的類型等。
d. VMFSsparse 快照對 I/O 性能影響
1）I/O 類型
當虛拟機執行快照後，讀、寫兩種 I/O 類型的性能變化是明顯不同的：
圖檔來源：vsanSparse Snapshots
其中，讀 I/O 由快照檔案和原始磁盤檔案共同提供服務；執行快照後修改過的資料将從 redo-log 上讀取，未修改過的資料則從原始 VMDK 上讀取，這種機制使得部分順序讀取的 I/O 變成随機讀取，這種情況對機械磁盤并不友好。
對于寫 I/O，如果是快照後首次寫入的資料塊，它将直接寫入 redo-log，并需要同時更新 redo-log 上的中繼資料以标記該資料塊的實體位置；已存在 redo-log 的資料則會直接覆寫。
2）快照深度
當虛拟機擁有多個快照時，讀取資料的時候可能需要周遊每一層快照檔案，查詢多個快照檔案中的中繼資料，并造成 I/O 性能明顯下降。
下圖是 VMware vSAN 官方給出的快照深度性能測試示意，可以看到性能随着快照數量增加而遞減，執行 32 個快照後性能下降至接近 0，而且性能并不會恢複。
圖檔來源：VMware Virtual SAN Snapshots in VMware vSphere 6.0
3）VMDK 格式
基礎虛拟磁盤（.vmdk）格式也會影響 I/O 的性能。在基礎虛拟磁盤（.vmdk）的格式為 thin（精簡磁盤）且空間未完全配置設定的情況下，在執行快照後，寫入基礎精簡 VMDK 中的未配置設定塊将導緻兩個操作：1）對基礎 thin 虛拟磁盤（.vmdk）配置設定空間以及資料塊進行置零操作（VMware 避免出現殘留資料的機制）；2）将真實資料寫入快照檔案（-delta.vmdk）。這種場景下 I/O 性能将明顯下降。
（2）SEsparse 快照
SEsparse 是一種類似 VMFSsparse（redo-log）的虛拟磁盤格式，并提供一些新功能以及特定場景下的性能優化。SEsparse 與 VMFSsparse 的差別之一是 SEsparse 的塊大小為 4KB，而 VMFSsparse 的塊大小為 512 位元組。上面讨論的關于 VMFSsparse 的大多數性能影響因素——I/O 類型、快照深度、資料的實體位置、基本 VMDK 類型等也适用于 SEsparse 格式。除了塊大小的變化，SEsparse 虛拟磁盤格式的主要變化在于空間效率。SEsparse 虛拟磁盤在 VMTools 的配合下（開啟 umap 功能），用戶端的檔案系統删除資料後，自動通知 SEsparse 删除資料塊的映射并回收空間，使得膨脹後的 VMDK 再次收縮，以達到節省存儲空間的目标。
a. 4K 對齊改善寫放大問題
前面提到過 VMFSsparse 的塊大小為 512 位元組，而實際 I/O 經過多層檔案系統後，寫操作放大問題是比較顯著的。下面以從虛拟機作業系統（Guest OS）發出一個 4KB 的 I/O 作為例子，展示其經過 VMDK、VMFS 以及後端存儲的過程中寫放大的情況。
圖檔來源：vsanSparse Snapshots
當虛拟機發出一個 4KB I/O，由于虛拟磁盤（VMFSsparse VMDK）的塊大小是 512 位元組，那麼 4KB I/O 需要被拆成 8 個 512B I/O，寫到 VMDK 檔案的 8 個不同的資料塊當中，因為不對齊的原因，4KB 的資料有可能打散到多個不連續的塊當中；而 VMDK 檔案又是存放在 VMFS 檔案系統之上（VMFS 的塊大小是 1MB），這些 VMDK 上的資料塊分别映射到 VMFS 上的 8 個不同的資料塊當中；而最終 VMFS 的 I/O 會寫到存儲陣列（或其他外部儲存設備），使得 I/O 操作至少放大了 8 倍（僅當外部儲存設備塊大小為 4KB 時；如果不是 4KB，有可能放大的情況更嚴重）。
SEsparse 為了改善上述寫放大的問題，将塊大小調整為 4KB，那麼從虛拟機發出的 4KB I/O 将對齊寫入單個 VMDK 資料塊，由于 VMFS 的塊更大（1MB），是以最終也隻會寫入單個 VMFS 的資料塊當中，最後寫入外部儲存設備時，隻需要一次 I/O 操作就能完成（4KB 對齊），避免了寫放大的情況。
圖檔來源：vsanSparse Snapshots
b. 4KB 對齊的優化效果
為證明 SEsparse 對于減少寫放大的效果，針對三組對象執行快照，并使用 IOMeter 執行不同 I/O 塊大小的測試：
圖檔來源：SEsparse in VMware vSphere 5.5
注：Thin：原 VMDK 設定為精簡置備。VMFSsparse：原 VMDK 設定為厚置備置零。SEsparse：原 VMDK 設定為厚置備置零。
從測試結果上可以看到：精簡置備（Thin）随機寫入性能在所有測試場景都是最低的，主要原因在于，精簡置備場景下，需要首先将塊置零，然後再寫入實際資料。這是因為 VMFS 以 1MB 的粒度配置設定塊，而該區域的一部分可能會被真實資料填充。置零可防止應用程式從配置設定的 1MB 實體媒體中讀取了殘留資料。相反，當使用 SEsparse 和 VMFSsparse 格式時，空間配置設定發生在更小的塊大小中，分别為 4KB 和 512 位元組，是以當 I/O 大于或等于 4KB 并且是 4KB 對齊的，則無需将塊置零（對于非對齊情況，需要執行“讀-修改-寫”操作），避免了置零的性能開銷。
在随機寫入測試中，SEsparse 的性能也明顯優于 VMFSsparse 格式。這是因為 SEsparse 實作了智能 I/O 合并邏輯，避免寫放大以獲得更好的性能。（需要注意的一點：SEsparse 僅在 I/O 與 4KB 邊界對齊的情況下執行，能獲得與 VMFSsparse 相當或更好的性能。這是因為當 I/O 沒有 4KB 對齊，寫入操作可能會導緻“讀取-修改-寫入”多次 I/O 操作，進而增加開銷。但現實中幾乎所有檔案系統和應用程式都是 4KB 對齊的，是以 SEsparse 在常見場景中表現要比 VMFSsparse 更好。
（3）vSANSparse 快照
vSANSparse 是在 vSAN 6.0 中引入的一種新的快照格式，它利用記憶體緩存的快照的中繼資料提升性能；與 VMFSsparse 和 SEsparse 相比，vSANSparse 在多數情況下性能更好。
當讀 I/O 請求到達 vSAN 時，vSANSparse 快照邏輯會周遊該虛拟機的快照樹的各個級别，并自動組合 I/O 請求相關的 vSAN 對象和偏移量。然後，這個尋址資訊會緩存在 vSAN 快照中繼資料緩存中（記憶體中）。快照中繼資料緩存在于記憶體中，對快照的讀性能至關重要。因為一旦快照中繼資料緩存未命中，就必須通過周遊多級快照來擷取位址資訊，這将大幅增加 I/O 通路延遲（這與原來的 VMFSsparse 和 SEsparse 快照是類似的）。中繼資料緩存的大小是有限制的，并且緩存空間是 VMware 系統中所有打開虛拟機的全部 VMDK 之間共享。是以，當緩存已滿時，會淘汰一部分已有的緩存資訊。
下圖是關于快照緩存命中率與快照性能下降比例的對照圖：
圖檔來源：VMware Virtual SAN Snapshots in VMware vSphere 6.0
從測試結果觀察到，當 vSAN 快照數量低于 19 個時，快照緩存的命中率維持在 98% 以上，這個時候快照的性能損失低于 5%，證明快照緩存空間充足的時候，vSANSparse 對于讀操作的優化十分明顯。但随着快照深度增大，緩存命中率進一步降低，到 32 個快照的時候，性能下降比例增至 56%。另外由于快照中繼資料位于記憶體當中，一旦主機重新開機，緩存會被清空，含有快照的虛拟機性能将明顯下降。
當 VMDK 隻包含一個快照的時候，VMFSsparse 與 vSANSparse 混合讀寫的性能對比如下：
資料來源：VMware vSphere Snapshots: Performance and Best Practices
可以看到 vSANSparse 在快照深度等于 1 的場景下，其性能優化效果是比較明顯的。
以下是 vSANSparse 混合讀寫在不同的快照深度下性能測試結果：
4KB 順序混合讀寫（50% 讀，50% 寫）測試
4KB 随機混合讀寫（50% 讀，50% 寫）測試
圖檔來源：VMware vSphere Snapshots: Performance and Best Practices
從測試結果中觀察到 vSANSparse 快照對順序讀寫 I/O 的工作負載的性能影響比較小。而在随機讀寫 I/O 測試的場景下，結果與 VMFSsparse 是類似的，性能有較大幅度的下降。可以了解到當快照深度加大，vSANSparse 快照對于随機讀寫的優化效果并不明顯。
4.VMware 快照的演進情況彙總
vSANSparse 快照存在的性能問題：
- 随着快照數量和深度增加，中繼資料緩存無法避免快照的性能下降。
- 主機重新開機後，中繼資料緩存無法自動加載，快照周遊的情況依然存在，性能下降明顯。
- 快照鍊結構導緻删除快照時，可能需要進行多次快照合并操作，帶來較大的性能損耗。
SMTX OS 中的快照技術淺析
1.SMTX OS 對于快照的定義
虛拟機快照可儲存其特定時刻資料和配置資訊。且虛拟機和虛拟機快照是獨立的存在，它們并不互相依賴。
虛拟機快照包含以下資訊：
- 虛拟機包含所有虛拟卷的快照（共享虛拟卷除外）。
- 虛拟機的配置資訊，例如 vCPU 數量、記憶體大小、磁盤啟動順序、網絡配置等。
SMTX OS 中虛拟機快照支援崩潰一緻性快照1以及檔案系統一緻性快照2，但目前并不支援記憶體快照3。此外，虛拟機快照支援諸如：建立快照、還原任意快照以及單獨移除任意時刻快照等快照管理操作。（VMware vSphere 中虛拟機快照無法單獨删除位于快照鍊條中間的快照，必需完成此快照之後的多個快照合并操作，才能實作快照的删除）；SMTX OS 中虛拟機快照還可以支援通過某個時刻的快照實作重建（克隆）虛拟機的操作，這些都屬于 SMTX OS 的虛拟機快照的特點之一。
2.快照原理
SMTX OS 的虛拟機快照與 VMware vSphere 的快照的運作原理并不相同。SMTX OS 的快照不是基于 redo-log 檔案實作的，是以也不存在快照鍊條的結構，且多個快照之間沒有依賴關系。
（1）快照組成
由于 SMTX OS 的虛拟機快照并沒有類似 VMFS 檔案系統或者 VMDK 檔案這一層，它的組成更加簡單，主要有兩部分：
- 中繼資料虛拟磁盤（vDisk）和快照都有類似結構的中繼資料資訊，而且同一個 vDisk 的多個快照分别擁有獨立的中繼資料資訊（包含快照相關的所有資料塊的實體位置資訊），該資訊記錄在 zbs-meta 分布式中繼資料服務資料庫中。
- 資料塊（extent） 快照的真實資料存儲在資料塊（extent，每個 extent 塊大小為 256MB），快照資料一般由多個 extent 組成，快照後發生變化的資料将存放在獨立的資料塊（extent）中，而沒有被修改的 extent 是快照和原 vDisk 共享的。
3.快照 I/O 原理
vDisk 擁有自身的中繼資料資訊并記錄了原始的資料塊（extent）映射關系，當執行快照後，系統将生成獨立的快照的中繼資料資訊并記錄快照相關的資料塊（extent）映射關系（如下圖）。當資料未發生任何變化時，快照與 vDisk 對應的 extent 是完全一緻的，也就是快照與 vDisk 共享所有資料塊，是以，這個時候快照并不額外占據任何存儲空間。
寫 I/O 發生時，如果是快照後首次寫入的資料塊（該 extent 未被配置設定），它将被配置設定新資料塊（new extent），并将資料直接寫入新配置設定的 extent 中 ，并更新 vDisk 的中繼資料資訊，将其映射關系指向新配置設定 extent。
如果寫入的資料塊（extent）在原 vDisk 已經被配置設定，同樣地，系統也将新配置設定資料塊（extent C' 與被修改的 extent C 對應），并更新 vDisk 的中繼資料資訊，将其映射關系指向新配置設定 extent C'。由于原 vDisk 的 extent 上已經有資料，寫入操作可能會導緻“讀取-修改-寫入”多次 I/O 操作。
其中 extent 塊大小是 256MB，而 block 是 extent 下面更小的資料塊機關，block 的大小為 256KB，每個 extent 包含了 1024 個 block。
當寫入 I/O 小于 256KB，例如需要寫入 4KB 資料，那麼需先從原 extent C 上讀取對應 block 的資料，修改資料後，将資料最終寫入新建立 extent C' 上對應的 block。當對齊寫入 256K I/O 時，則無需讀取原 vDisk 上 block，直接寫入新位置。
讀 I/O 發生時，底層存儲快照資料塊和 vDisk 資料塊共同提供服務；由于 vDisk 的中繼資料映射關系已經被更新，它包含目前狀态所有資料塊的最新映射關系，是以讀取通路是無需周遊快照的，讀取尋址的時延是比較低的。
SMTX OS 快照的中繼資料是存儲在 ZBS 分布式存儲中繼資料服務叢集内，中繼資料位于記憶體中，有更好的響應速度，同時中繼資料也會持久化同步到 SSD 媒體上，這樣即使是主機重新開機後，也可以通過 SSD 快速加載中繼資料到記憶體當中，不會因為主機重新開機而降低快照性能。
SMTX OS 與 vSANSparse 的虛拟機快照對比
實測對比快照性能
在同一硬體配置場景下，分别測試 SMTX OS 和 vSAN 在快照前後的性能表現。
在 4K 随機寫測試中，可以看到 vSAN 建立快照後，虛拟機性能下降接近 60%，并無法恢複。
在同樣的 4K 随機寫測試中，可以看到 SMTX OS 建立快照後，虛拟機在短時間内有明顯的性能下降，但可逐漸恢複到快照前的性能水準（恢複時間約為 20 分鐘）。
總結
通過對 VMware vSphere 和 SMTX OS 實作快照的原理的解讀以及實測快照性能的對比驗證，可以看出，SMTX OS 的快照技術規避了 I/O 類型、VMDK 格式等會對 I/O 性能産生影響的因素，顯著改善了快照運作後 I/O 性能下降的時間和可恢複性；同時，SMTX OS 不存在快照鍊條的結構，能夠保證多個快照間的獨立性，進而友善運維人員對快照進行删除等操作和管理。
另外，當 SMTX OS 與 VMware vSphere 內建部署時，可支援文章前面提到過的 vVols/native snapshots 快照模式，使得 vSphere 虛拟機可以通過專用的 VAAI 插件将快照操作 Offload 到 SMTX OS 中完成，獲得 SMTX OS 的快照特性。
崩潰一緻性快照1：崩潰一緻性快照僅記錄已寫入虛拟硬碟的資料。快照中不會捕獲記憶體或待處理 I/O 操作中的任何資料。是以，此類型的快照無法保證檔案系統或應用程式的一緻性，您可能無法還原具有崩潰一緻性快照的虛拟機。
檔案系統一緻性快照2: 除了虛拟硬碟上的資料之外，檔案系統一緻性快照還會記錄記憶體和待處理 I/O 操作中的所有資料。在拍攝檔案系統一緻性快照之前，訪客作業系統上的檔案系統會進入靜默狀态，記憶體中的所有檔案系統緩存資料和待處理 I/O 操作都會重新整理到硬碟。
記憶體快照3: 記憶體快照是指虛拟機執行快照時，除了對硬碟資料執行快照之外，虛拟機會進入靜默狀态，記憶體也會同時執行快照，并持久化儲存記憶體資料；當執行虛拟機快照恢複時，可加載記憶體快照資料。
參考文章：
1. 了解 vSphere 中的虛拟機快照 (1015180) https://kb.vmware.com/s/article/1015180?lang=zh_CN
2. vsanSparse Snapshots
https://core.vmware.com/resource/vsansparse-snapshots#section1
3. VMware Virtual SAN Snapshots in VMware vSphere 6.0 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/vsan-snapshots-vsphere6-perf-white-paper.pdf
4. SEsparse in VMware vSphere 5.5 https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/sesparse-vsphere55-perf-white-paper.pdf
5. VMware vSphere Snapshots: Performance and Best Practices https://www.vmware.com/content/dam/digitalmarketing/vmware/en/pdf/techpaper/performance/vsphere-vm-snapshots-perf.pdf