上面左邊是我的個人微信，如需進一步溝通，請加微信。 右邊是我的公衆号“Openstack私有雲”，如有興趣，請關注。
我的哔哩哔哩首頁：https://space.bilibili.com/649988837
公司有兩台測試伺服器，是華為的RH2288 V3 ，配置64G記憶體，2顆16核CPU ，4塊1TSAS盤，原來是單機使用，為了更充分的利用硬體資源，計劃将這兩台伺服器安裝PVE5-3進行虛拟化。具體的設計思路如下：
兩台伺服器主要用在公司内部開發測試環境使用，同時也有計劃給雲桌面使用，是以，需要考慮一定的安全性。具體規劃：
1、存儲方面，伺服器的4塊硬碟前兩塊做raid1，安裝pve系統，并且後續的雲桌面虛拟機以及重要的虛拟機使用這個盤；後面2塊盤，一塊單獨作lvm給虛拟機使用，一塊做成NFS共享存儲，給虛拟機做備份使用；并且虛拟機備份注意交叉備份，比如pve1上的虛拟機備份到pve2上的nfs盤上，pve2上的虛拟機備份到pve1上的nfs，這樣如果一台伺服器故障，可以最大限度保護資料；
2、網絡方面，有2個網絡，将其中一個網絡作為管理網絡（叢集管理corosync網絡），一個實體網絡作為業務網絡（虛拟機業務網絡）。由于沒有使用ceph分布式存儲，是以這裡不涉及到存儲網絡的設計。真正使用的時候，由于公司内部網絡流量不是很大，建虛拟機的時候，會同時使用管理網絡，即虛拟機會同時有2塊網卡，分别接入2個網絡。
3、兩台伺服器之間的關系，由于隻有2台實體伺服器，做叢集需要3台，因為2台的叢集當1台伺服器關機的時候叢集會發生腦裂，不适合建叢集。同時為了最大化利用硬體資源，以及省電，正式使用的時候，下班和節假日期間都會關閉其中1台或者全部關電，是以，我的這個環境并不适合做叢集。
首先是将實體機的前2塊磁盤做raid1，完成之後如下圖：
接着安裝pve5-3，詳細過程不贅述，主要是設定root密碼以及設定IP位址，如下圖：
大概20分鐘安裝一個PVE節點，安裝完成之後，就可以開始進入pve 的web管理界面使用了，如下圖：
接下來配置網絡，建立一個網橋并配置192.168.1.0/24網段的位址給它，搭另一塊網卡進行橋接，如下圖：
注意，網絡配置需要重新開機伺服器才會生效。上面沒有配置網關，是因為另外一個網橋已經配置了網關，如果這裡也配置，會報錯。
接下來配置存儲，如下：
pvcreate /dev/sdb ---将第二塊盤劃分一個pv
vgcreate pve1-vg-sdb /dev/sdb ---建立vg
lvcreate --thin -L 900G -n pve1-lvm-vm pve1-vg-sdb ---将vg的所有空間都給lv ，類型是thin，lv名稱是pve1-lvm-vm 之後，就可以在pve 的web管理界面建立對應的lvm ，如下圖：
接下來再建立nfs伺服器，将第四塊盤作為nfs共享盤挂載到nfs服務。
pvcreate /dev/sdc ---将第三塊盤劃分一個pv
vgcreate pve1-vg-sdc /dev/sdc ---建立vg
lvcreate -l 100%VG -n pve1-lvm-nfs pve1-vg-sdc ---将vg的所有空間都給lv ，lv名稱是pve1-lvm-nfs
mkfs.xfs /dev/pve1-vg-sdc/pve1-lvm-nfs
mkdir -p /data/pve1-nfs
設定挂載點 :
mount /dev/pve1-vg-sdc/pve1-lvm-nfs /data/pve1-nfs
在/etc/fstab檔案中寫入下面這行，使開機自動挂載：
/dev/pve1-vg-sdc/pve1-lvm-nfs /data/pve1-nfs xfs defaults 0 0
執行如下指令進行nfs服務端的安裝。
apt-get install nfs-common nfs-kernel-server
配置共享目錄
vi /etc/exports
增加如下内容：
/data/pve1-nfs *(rw,sync,no_root_squash,no_subtree_check,insecure)
啟動nfs服務端
/etc/init.d/nfs-kernel-server start
注：如果修改了/etc/exports的内容，執行 exportfs -a 進行更新 這樣，在web界面上就可以使用上面共享出來的nfs共享目錄了，如下圖：
最後，更改一下軟體源，預設是訂閱版，需要收費，更改為非訂閱版，如下：
将/etc/apt/sources.list.d/pve-enterprise.list 檔案内的唯一一條記錄注釋掉：
#deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise
wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add -
echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list
apt update && apt dist-upgrade 至此，一個PVE節點搞定！
第二台PVE節點基本一樣，不一樣的地方是這台伺服器沒有做raid，充分利用存儲資源，配置存儲，将sdb和sdc兩塊盤劃分到一個vg，使用thin lv專門供虛拟機存儲池使用，如下：
pvcreate /dev/sdb ---将第二塊盤劃分一個pv
pvcreate /dev/sdc ---将第三塊盤劃分一個pv
vgcreate pve2-vg-vm /dev/sdb /dev/sdc ---建立vg
lvcreate --thin -L 1800G -n pve2-lvm-vm pve2-vg-vm ---将vg的所有空間都給lv ，類型是thin，lv名稱是pve1-lvm-vm 第二台伺服器建立nfs伺服器，将第四塊盤作為nfs共享盤挂載到nfs服務。
pvcreate /dev/sdd ---将第四塊盤劃分一個pv
vgcreate pve2-vg-nfs /dev/sdd ---建立vg
lvcreate -l 100%VG -n pve2-lvm-nfs pve2-vg-nfs ---将vg的所有空間都給lv ，lv名稱是pve2-lvm-nfs
mkfs.xfs /dev/pve2-vg-nfs/pve2-lvm-nfs
mkdir -p /data/pve2-nfs
設定挂載點 :
mount /dev/pve2-vg-nfs/pve2-lvm-nfs /data/pve2-nfs
在/etc/fstab檔案中寫入下面這行，使開機自動挂載：
/dev/pve2-vg-nfs/pve2-lvm-nfs /data/pve2-nfs xfs defaults 0 0
執行如下指令進行nfs服務端的安裝。
apt-get install nfs-common nfs-kernel-server
配置共享目錄
vi /etc/exports
增加如下内容：
/data/pve2-nfs *(rw,sync,no_root_squash,no_subtree_check,insecure)
啟動nfs服務端
/etc/init.d/nfs-kernel-server start
注：如果修改了/etc/exports的内容，執行 exportfs -a 進行更新