| 導讀 | 目前的遷移技術，都是通過向QEMUFILE中直接寫入裸記憶體資料來達到傳送虛拟機的目的端，這種情況下，發送的資料量大，進而會導緻更高的遷移時間(total time)和黑宕時間(downtime)。本文介紹的方法，在發送前對客戶機記憶體進行壓縮，在目的端接收到記憶體後，進行對資料進行解壓縮，進而恢複客戶機的記憶體。 |
1.技術原理
使用帶壓縮技術的遷移後，傳輸的資料總量會減少60%，總遷移時間減少70%+，同時當機時間減少50%以上。一方面，壓縮/解壓縮的過程會消耗CPU周期而加大了遷移的時間；另一方面，總傳輸資料量的銳減，又會減少遷移時間。為了能夠進行高速的壓縮，本技術中使用了多線程并發的方式，提高壓縮的目前虛拟機中，使用ZLIB完成壓縮/解壓縮的工作。
在CPU相同的情況下，ZLIB官方給出，解壓縮的速度是壓縮速度的4倍。也就是說，如果遷移的源端和目的端處理器相同的情況下，使得壓縮線程數量是解壓縮線程數量的4倍就可以在資源消耗最小的情況下，取得最優的壓縮為了更多的适應網絡狀況，虛拟機中引入了壓縮級别 -- Compression level。Compression level可以用來控制壓縮速率和壓縮比例。高的壓縮比率會消耗更多的時間，level 0就代表不進行壓縮， 1級代表最優的壓縮速率， 9級代表了最好的壓縮比率(最多的壓縮時間)。我們可以選擇從0級到9級中的任意一個級别。
2. 多線程壓縮動态遷移技術的應用場景
壓縮/解壓縮時間将會消耗CPU周期。是以，如果整個系統CPU都被壓得非常滿的情況下，避免使用這個特性。當網絡帶寬有限，CPU資源又足夠充足的情況下，使用多線程壓縮動态遷移技術會帶來比較好的效果。當網絡充足且CPU資源充足的情況下，使用本技術也将會減少總遷移時間。
3. 多線程壓縮遷移技術使能方法
源端：
1. 啟動虛拟機
/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda ./disk0.img -m 2048 -vnc 192.168.2.106:0 -monitor stdio
2. 使能源端多線程壓縮動态遷移技術
a.) migrate_set_capabilitycompress on //使能壓縮
b.) migrate_set_parametercompress-threads 12 //12個壓縮線程
c.) migrate_set_parametercompress-level 1 //壓縮級别為1級
3. 開始遷移
migrate -d tcp:192.168.2.105:6666
目的端：
1. 啟動虛拟機
/home/liufeng/qemu-system-x86_64 -machine accel=kvm -hda /home/kvm/vm/disk/disk0.img -m 2048 -vnc 192.168.2.105:0 -monitor stdio -incoming tcp:192.168.2.105:6666
2. 使能目的端多線程壓縮動态遷移技術
a.) migrate_set_capabilitycompress on
b.) migrate_set_parametercompress-level 1
c.) migrate_set_parameterdecompress-threads 3 //3個壓縮線程
3. 等待遷移完成
4. 效果驗證
運作環境:
CPU: Intel(R) Xeon(R) CPU E5-2650 v3 @2.30GHz
Logic core: 40
Socket : 2
RAM: 128G
NIC: 1000baseT/Full
Host OS: CentOSLinux release 7.2.1511 (Core) 64-bit
Guest OS: CentOS Linux release 7.2.1511 (Core) 64-bit
a. 情況一：帶寬無限制，CPU充足
| 原動态遷移 | 多線程壓縮技術動态遷移 壓縮級别： 1 壓縮線程數： 12 解壓縮線程數：3 | |
| 遷移總時間(msec): | 9536 | 4466 |
| Downtime時間(msec): | 34 | 22 |
| 傳輸資料量(KB) | 307783 | 140445 |
效果：總的遷移時間減少50%；downtime時間減少35%
b. 情況二：帶寬有限制情況，CPU充足
| 原動态遷移 | 多線程壓縮技術動态遷移 壓縮級别： 1 壓縮線程數： 12 解壓縮線程數：3 | |
| 遷移總時間(msec): | 11720 | 5652 |
| Downtime時間(msec): | 169 | 21 |
| 傳輸資料量(KB) | 311554 | 140189 |
效果：總遷移時間減少了200%,downtime時間減少了800%
5. 代碼實作分析
虛拟機實作代碼分析如下(本分析基于：QEMU 2.5)：
1. 在啟動migration過程中，如果發現使能了多線程壓縮技術，則建立壓縮線程
2. 遷移開始後，使用多線程壓縮技術
有migration_thread()進行遷移工作，在iterator和complete階段，如果發現使能了多線程壓縮技術，則通過compress_page_with_multi_thread()完成資料的壓縮和發送
3. 通過zlib的compress2()函數完成資料的壓縮，并通過QEMU-FILE發送
最終在compress_page_with_multi_thread()中激活壓縮線程，通過zlib的compress2()函數完成資料的壓縮，并通過QEMU-FILE發送
6. 可優化點
1. 壓縮算法
a. 目前使用的是開源zlib庫完成壓縮，還有其他壓縮庫的壓縮方式可以提供，以便适應更多的場景
b. 商業壓縮庫有着更好的效率
c. 通過FPGA進行硬體輔助壓縮
2. 壓縮政策
a. 虛拟機遷移算法自适應所有網絡，對網絡進行測試（是否滿足上面的公式），然後形成回報因子輸入到遷移算法中，遷移算法根據回報因子決定使用的壓縮算法、壓縮級别或者根本不壓縮，達到在所有網絡狀況下而縮短downtime的目的。
免費提供最新Linux技術教程書籍，為開源技術愛好者努力做得更多更好：https://www.linuxprobe.com/