安裝部署CloudStack 4.0企業私有雲平台

轉載自：http://heylinux.com/archives/2093.html

安裝部署CloudStack 4.0企業私有雲平台[原創分享]

參考資料

CloudStack Installation_Guide/installation.html

CloudStack Admin_guide/working-with-iso.html

CloudStack Admin_guide/creating-vms.html

CloudStack Admin_guide/create-templates-overview.html

目錄結構

1. 什麼是CloudStack

2. 主控端的系統需求

3. 配置安裝源

4. 安裝Management Server

5. 安裝配置KVM虛拟化Host主機

6. 使用者界面

7. 配置Management Server

8. 建立Instance類型

9. 建立ISO安裝源并建立Instance

10. 建立并定制Template

11. 通過定制的Template建立VM Instance

12. 其它優化設定

環境介紹

OS: Ubuntu Server 12.04.1 64-bit

Server:

10.6.203.10 cloudstack-server-1

- CloudStack Management Server

- CloudStack Agent

- NFS Server

- MySQL Server

注：CloudStack支援很好的分布式架構，上面 - 代表的所有角色都可以部署在不同的機器上，但在測試環境中因為條件有限我全部都部署到了一台機器上。

1. 什麼是CloudStack

CloudStack是一個開源的具有高可用性及擴充性的雲計算平台。

提到開源的雲計算平台，相信大家首先想到的可能是OpenStack，目前國内的幾家雲計算平台如阿裡雲、盛大雲以及新浪SAE貌似都基于OpenStack做了二次開發。

但使用過CloudStack之後，你會發現其實CloudStack更像是一個商業化過後的産品，有着非常好的使用者界面，各個子產品預設內建的很好，且安裝與部署過程也相對容易一些。

事實上，CloudStack的前身是Cloud.com，後來被思傑收購。2011年7月，Citrix收購Cloud.com，将CloudStack 100%開源并交給Apache軟體基金會管理。

同時，CloudStack已經有了許多商用客戶，包括GoDaddy、英國電信、日本電報電話公司、塔塔集團、南韓電信等。

是以，CloudStack本身其實就是一個商業化過後的産品，然後在面對OpenStack等開源系統的巨大競争壓力的情況下選擇了同樣的開源。

目前Cloudstack支援管理大部分主流的hypervisors，如KVM，XenServer，VMware，Oracle VM，Xen等。

CloudStack具有商業軟體所擁有的完善的使用者權限管理，可以讓使用者建構一個安全的多租戶雲計算環境。

同時相容Amazon AWS API 接口，可用來管理AWS的資源。

　　

CloudStack的官方網址如下(目前還處于Apache基金會的孵化器中)：

http://incubator.apache.org/cloudstack/

以下是CloudStack的系統架構，基本上與其他雲計算平台相同：

2. 主控端的系統需求

由于CloudStack 4.0 限定了libvirt版本 > 0.9.4，并在社群宣稱所支援的OS為 CentOS/RHEL 6.2 以上或 Ubuntu Server 12.04。

是以，這裡我們選擇 Ubuntu Server 12.04.1 作為我們的作業系統。

官方下載下傳位址：http://releases.ubuntu.com/precise/ubuntu-12.04.1-server-amd64.iso

另外，官方要求硬體至少滿足以下條件：

1) 支援硬體虛拟化(Intel-VT 或 AMD-V)

2) 64位的x86 CPU

3) 4G記憶體

4) 36GB硬碟

5) 1張網卡

3. 配置安裝源

配置國内的網易鏡像源

$ sudo sed -i s/us.archive.ubuntu.com/mirrors.163.com/g /etc/apt/sources.list

$ sudo sed -i s/security.ubuntu.com/mirrors.163.com/g /etc/apt/sources.list

配置CloudStack官方源

$ sudo vim /etc/apt/sources.list.d/cloudstack.list

deb http://cloudstack.apt-get.eu/ubuntu precise 4.0

配置CloudStack官方源證書

$ wget -O - http://cloudstack.apt-get.eu/release.asc| sudo apt-key add -

更新系統的安裝源

$ sudo apt-get update

4. 安裝Management Server

4.1 準備好作業系統環境

檢視主機名

$ hostname --fqdn

cloudstack-server-1

$ sudo vim /etc/hosts

添加以下記錄

10.6.203.10 cloudstack-server-1

安裝時間伺服器

$ sudo apt-get install openntpd

4.2 下載下傳安裝 CloudStack Management Server 與 vhd-util

安裝CloudStack Management Server

$ sudo apt-get install cloud-client

将使用者cloud加入到sudo使用者組 //CloudStack預設以cloud使用者啟動，但預設會通過sudo以root身份管理相關檔案與目錄

$ sudo adduser cloud sudo

配置sudo使用者組免密碼切換 //同樣是為了解決和上面相同的權限問題

$ sudo visudo

%sudo ALL=(ALL:ALL) NOPASSWD:ALL

初始化root使用者密碼，如cloudstack //CloudStack預設需要root權限遠端SSH連接配接到Agent

$ sudo -i

# passwd

1	Enter new UNIX password:

2	Retype new UNIX password:

3	passwd : password updated successfully

# chmod 777 /root //為了解決一個bug，即CloudStack預設以cloud使用者啟動，但卻讀取的是啟動服務的使用者的home目錄用來存放一些臨時檔案，進而導緻權限問題

$ exit

下載下傳vhd-util

$ sudo wget http://download.cloud.com.s3.amazonaws.com/tools/vhd-util

$ sudo mv vhd-util /usr/lib/cloud/common/scripts/vm/hypervisor/xenserver/

4.3 安裝配置MySQL資料庫

$ sudo apt-get install mysql-server

在彈出的界面中輸入密碼，如: cloudstack

修改MySQL配置檔案參數

$ sudo vim /etc/mysql/my.cnf

在[mysqld]子產品中加入以下參數

1	innodb_rollback_on_timeout=1

2	innodb_lock_wait_timeout=600

3	max_connections=350

4	log-bin=mysql-bin

5	binlog- format = 'ROW'

重新開機MySQL

$ sudo service mysql restart

初始化資料庫cloud

$ sudo cloud-setup-databases cloud:[email protected] --deploy-as=root:cloudstack -e file -m cloudstack -k cloudstack

01	Mysql user name:cloud                                           [ OK ]

02	Mysql user password:cloudstack                                  [ OK ]

03	Mysql server ip:localhost                                       [ OK ]

04	Mysql server port:3306                                          [ OK ]

05	Mysql root user name:root                                       [ OK ]

06	Mysql root user password:cloudstack                             [ OK ]

07	Checking Cloud database files ...                               [ OK ]

08	Checking local machine hostname ...                             [ OK ]

09	Checking SELinux setup ...                                      [ OK ]

10	Detected local IP address as 10.6.203.10,

11	will use as cluster management server node IP                   [ OK ]

12	Preparing /etc/cloud/management/db.properties                   [ OK ]

13	Applying /usr/share/cloud/setup/create-database.sql             [ OK ]

14	Applying /usr/share/cloud/setup/create-schema.sql               [ OK ]

15	Applying /usr/share/cloud/setup/create-database-premium.sql     [ OK ]

16	Applying /usr/share/cloud/setup/create-schema-premium.sql       [ OK ]

17	Applying /usr/share/cloud/setup/server-setup.sql                [ OK ]

18	Applying /usr/share/cloud/setup/templates.sql                   [ OK ]

19	Applying /usr/share/cloud/setup/create-index-fk.sql             [ OK ]

20	Processing encryption ...                                       [ OK ]

21	Finalizing setup ...                                            [ OK ]

22

23	CloudStack has successfully initialized database,

24	you can check your database configuration in /etc/cloud/management/db.properties

4.4 配置NFS共享

CloudStack 需要一個地方來存放Primar和Secondary Storage，官方推薦使用NFS共享。

安裝NFS

$ sudo apt-get install nfs-common nfs-kernel-server

建立目錄

$ sudo mkdir -p /export/primary

$ sudo mkdir -p /export/secondary

編輯NFS配置檔案

$ sudo vim /etc/exports

1	/ export *(rw,async,no_root_squash,no_subtree_check)

重新整理配置

$ sudo exportfs -a

挂載測試NFS共享

$ sudo mkdir /mnt/primary

$ sudo mount -t nfs 10.6.203.10:/export/primary /mnt/primary

$ sudo mkdir /mnt/secondary

$ sudo mount -t nfs 10.6.203.10:/export/secondary /mnt/secondary

$ df -h

1	Filesystem                    Size  Used Avail Use% Mounted on

2

...

3	10.6.203.10:/ export /primary    434G  7.8G  404G   2% /mnt/primary

4	10.6.203.10:/ export /secondary  434G  7.8G  404G   2% /mnt/secondary

$ sudo vim /etc/fstab

增加以下内容

1	10.6.203.10:/ export /primary /mnt/primary    nfs rw,tcp,intr 0 1

2	10.6.203.10:/ export /secondary /mnt/secondary    nfs rw,tcp,intr 0 1

4.5 準備System VM Template

我們選擇KVM作為虛拟化引擎

$ sudo /usr/lib/cloud/common/scripts/storage/secondary/cloud-install-sys-tmplt -m /mnt/secondary \

-u http://download.cloud.com/templates/acton/acton-systemvm-02062012.qcow2.bz2 -h kvm -F

整個過程大概需要花費半個小時

01	--2012-11-12 14:49:18--  http://download.cloud.com/templates/acton/acton-systemvm-02062012.qcow2.bz2

02	Resolving download.cloud.com (download.cloud.com)... 207.171.189.81

03	Connecting to download.cloud.com (download.cloud.com)|207.171.189.81|:80... connected.

04	HTTP request sent, awaiting response... 200 OK

05	Length: 286036668 (273M) [binary/octet-stream]

06	Saving to: `/usr/lib/cloud/common/scripts/storage/secondary/4aae2546-33e1-4784-9e69-09e1ef9d6fb4.qcow2'

07

08	100%[======================================================================>] 286,036,668  188K/s   in 24m 53s

09

10	2012-11-12 15:14:13 (187 KB/s) - `/usr/lib/cloud/common/scripts/storage/secondary/4aae2546-33e1-4784-9e69-09e1ef9d6fb4.qcow2' saved [286036668/286036668]

11

12	Uncompressing to /usr/lib/cloud/common/scripts/storage/secondary/4aae2546-33e1-4784-9e69-09e1ef9d6fb4.qcow2.tmp ( type bz2)...could take a long time

13	Moving to /mnt/secondary/template/tmpl/1/3///4aae2546-33e1-4784-9e69-09e1ef9d6fb4.qcow2...could take a while

14	Successfully installed system VM template  to /mnt/secondary/template/tmpl/1/3/

5. 安裝配置KVM虛拟化Host主機

5.1 安裝配置Agent

$ sudo apt-get install cloud-agent

5.2 安裝配置libvirt

$ sudo vim /etc/libvirt/libvirtd.conf

修改以下配置

1	listen_tls = 0

2	listen_tcp = 1

3	tcp_port = "16059"

4	auth_tcp = "none"

5	mdns_adv = 0

檢視配置

$ cat /etc/libvirt/libvirtd.conf | grep -v '#' | grep -v "^$"

1	listen_tls = 0

2	listen_tcp = 1

3	tcp_port = "16509"

4	mdns_adv = 0

5	unix_sock_group = "libvirtd"

6	unix_sock_rw_perms = "0770"

7	auth_unix_ro = "none"

8	auth_unix_rw = "none"

9	auth_tcp = "none"

$ sudo vim /etc/init/libvirt-bin.conf

修改以下參數

1	env libvirtd_opts= "-d -l"

# sudo vim /etc/libvirt/qemu.conf

修改以下參數

1	vnc_listen = "0.0.0.0"

重新開機服務

$ sudo service libvirt-bin restart

5.3 配置安全政策

$ sudo dpkg --list "apparmor"

1	Desired=Unknown/Install/Remove/Purge/Hold

2	| Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend

3	|/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad)

4	||/ Name                                Version                             Description

5	+++-===================================-===================================-======================================================================================

6	ii  apparmor

7	2.7.102-0ubuntu3.1                  User-space parser utility for AppArmor

$ sudo ln -s /etc/apparmor.d/usr.sbin.libvirtd /etc/apparmor.d/disable/

$ sudo ln -s /etc/apparmor.d/usr.lib.libvirt.virt-aa-helper /etc/apparmor.d/disable/

$ sudo apparmor_parser -R /etc/apparmor.d/usr.sbin.libvirtd

$ sudo apparmor_parser -R /etc/apparmor.d/usr.lib.libvirt.virt-aa-helper

5.4 配置網橋

需要注意的是，官方文檔給出的配置參數會導緻網絡不可用。

正确的配置是将實體網卡設定為manual，然後在虛拟網卡上設定IP并橋接到實體網卡上。

$ sudo vim /etc/network/interfaces

01	# This file describes the network interfaces available on your system

02	# and how to activate them. For more information, see interfaces(5).

03

04	# The loopback network interface

05

auto lo

06	iface lo inet loopback

07

08	# The primary network interface

09

auto eth0

10	iface eth0 inet manual

11

12	# Public network

13	auto cloudbr0

14	iface cloudbr0 inet static

15	address 10.6.203.10

16	netmask 255.255.0.0

17	gateway 10.6.255.1

18	bridge_ports eth0

19	bridge_fd 5

20	bridge_stp off

21	bridge_maxwait 1

22	dns-nameservers 10.6.255.253 61.139.2.69

23

24	# Private network

25	auto cloudbr1

26	iface cloudbr1 inet manual

27	bridge_ports eth0

28	bridge_fd 5

29	bridge_stp off

30	bridge_maxwait 1

$ sudo /etc/init.d/networking restart

$ sudo /etc/init.d/networking start

5.5 配置防火牆

$ sudo ufw allow proto tcp from any to any port 22

$ sudo ufw allow proto tcp from any to any port 80

$ sudo ufw allow proto tcp from any to any port 1798

$ sudo ufw allow proto tcp from any to any port 16509

$ sudo ufw allow proto tcp from any to any port 5900:6100

$ sudo ufw allow proto tcp from any to any port 49152:49216

6. 使用者界面

禁用系統預設的tomcat服務

$ sudo /etc/init.d/tomcat6 stop

1	* Stopping Tomcat servlet engine tomcat6 [ OK ]

$ sudo update-rc.d -f tomcat6 remove

1	Removing any system startup links for /etc/init.d/tomcat6 ...

2	/etc/rc0.d/K08tomcat6

3	/etc/rc1.d/K08tomcat6

4	/etc/rc2.d/S92tomcat6

5	/etc/rc3.d/S92tomcat6

6	/etc/rc4.d/S92tomcat6

7	/etc/rc5.d/S92tomcat6

8	/etc/rc6.d/K08tomcat6

啟動cloud-management

$ cd ~

$ sudo /etc/init.d/cloud-management restart

1	* Starting CloudStack-specific Tomcat servlet engine cloud-management [ OK ]

登陸使用者界面

http://10.6.203.10:8080/client/

預設賬号密碼

admin/password

可以看到如下圖所示向導界面

選擇左邊的按鈕"I have used CloudStack before, skip this guide"。

即進入如下圖所示使用者界面

7. 配置Management Server

整個Management Server的架構如下

7.1 修改Web管理者預設密碼

登陸 http://10.6.203.10:8080/client

進入 Accounts - admin - View Users - admin 頁面，點選 Change Password

接着我們進入到 Infrastructure 界面，可以看到目前沒有任何設定，所有數目都是0。

7.2 建立相關配置

在使用者界面中通過向導，依次建立

"Zone" - "Add Zone" - "Physical Network" - "Pod" - "Guest Traffic" - "Storage Traffic" -

"Cluster" - "Host" - "Primary Storage" - "Secondary Storage"

如下列圖檔所示：

選擇Basic安裝向導

配置Zone

配置Physical Network

配置Pod，此處的網絡設定主要用于CloudStack内部的管理通信

配置Guest Traffic，此處的網絡設定用于給Instance配置設定IP

配置Storage Traffic，此處的網絡設定用于存儲系統

配置Cluster

配置Host，即Agent主機，虛拟機的主控端，使用者名密碼與SSH相同

配置主存儲空間，我選擇了本地mount點，即mount過後的本地路徑，分布式部署時可以選擇NFS模式

配置附屬存儲空間，僅支援NFS模式

配置完成，點選"Launch zone"

可以看到整個建立過程，最後建立完成之後提示是否啟用Zone，選擇Yes

8. 建立Instance類型

預設有Small Instance和Medium Instance

我們再分别建立兩個類型：Large 和 xLarge，如下圖所示：

建立Large Instance Type

建立xLarge Instance Type

檢視xLarge Instance Type屬性

9. 建立ISO安裝源并建立Instance

在使用者界面中配置

Template - Select view: ISO - Redister ISO

1	Name: Ubuntu-10.10

2	Description: Ubuntu Server 10.10 64-bit x86

3	URL: http://old-releases.ubuntu.com/releases/maverick/ubuntu-10.10-server-amd64.iso

4	Zone: All Zones

5	Bootable: Yes

6	OS Type: Ubuntu 10.10 (64-bit)

7	Extractable: Yes

8	Public: Yes

9	Featured: Yes

如下圖所示：

然後，等待ISO的Ready狀态為Yes的時候，如下圖所示

接着，就可以開始使用ISO建立Instance，并在後面跟将其制作成為Template了。

如果想下載下傳的速度快一些，可以通過在主機上搭建一個HTTP Server

但需要登入到Secondary Storage VM内部對防火牆規則進行一些修改，否則無法通路主機的80端口

具體步驟如下

$ sudo apt-get install apache2

$ sudo netstat -lntp | grep -w 80

1	tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      6157/apache2

上傳Ubuntu安裝ISO到伺服器的/var/www/iso，例如ubuntu-10.10-server-amd64.iso

$ sudo mkdir /var/www/iso

$ sudo chown www-data:www-data /var/www/iso

$ sudo chown www-data:www-data /var/www/iso/ubuntu-10.10-server-amd64.iso

擷取Secondary Storage VM的IP(169.254.x.x)，如下圖所示

登入Secondary Storage VM修改防火牆規則

$ sudo -i

# ssh -i .ssh/id_rsa.cloud -p 3922 169.254.1.99

[email protected]:~# iptables -D OUTPUT -o eth1 -p tcp -m state --state NEW -m tcp --dport 80 -j REJECT --reject-with icmp-port-unreachable

将URL設定為 http://10.6.203.10/iso/ubuntu-10.10-server-amd64.iso 即可

10. 建立并定制Template

10.1 建立初始Instance

通過剛剛安裝的ISO檔案來建立一個Instance

具體步驟如下

選擇ISO

選擇剛剛建立好的ISO

選擇xLarge Instance，這裡跟根據需要自己決定

選擇硬碟

預設沒有安全組，直接下一步

最後給Template命名，并點選"Launch VM"建立

建立過程大概1分鐘左右

建立成功以後Instance狀态為Running

通過NICs頁面可以檢視到所綁定的IP位址

點選Details頁面的"View console"，打開本地終端界面

可以看到作業系統的安裝界面，接下來就是常見的系統安裝過程了

10.2 通過View console執行作業系統的安裝過程

通過在建立好的Instance的屬性頁面上點選 View console，即通過Web界面操作本地圖形終端

執行作業系統的安裝過程，安裝好作業系統。

10.3 定制Template

作業系統安裝完成以後，由于計劃以該作業系統來制作Template，是以需要進行如下修改

10.3.1 安裝openssh client和server (通過View console)

[email protected]:~$ sudo apt-get install ssh

後面的步驟就可以通過SSH來完成了。

10.3.2 配置國内的網易鏡像源

[email protected]:~$ sudo sed -i s/us.archive.ubuntu.com/mirrors.163.com/g /etc/apt/sources.list

[email protected]:~$ sudo sed -i s/security.ubuntu.com/mirrors.163.com/g /etc/apt/sources.list

[email protected]:~$ sudo apt-get update

10.3.3 配置sudo使用者組免密碼切換

[email protected]:~$ sudo visudo

%sudo ALL=(ALL:ALL) NOPASSWD:ALL

%admin ALL=(ALL) NOPASSWD:ALL

10.3.4 安裝常用工具

[email protected]:~$ sudo apt-get install vim lrzsz

10.3.5 去除主機名相關配置

這樣做是為了後面利用該Template建立的Instance能夠自動生成特有的主機名

[email protected]:~$ sudo vim /etc/hosts

注釋或删除以下内容

#127.0.1.1 Template-Instance.cs1cloud.internal Template-Instance

将/etc/hostname檔案更名或删除

[email protected]:~$ sudo mv /etc/hostname /etc/hostname.template

10.3.6 關閉Instance

[email protected]:~$ sudo sync

[email protected]:~$ sudo poweroff

10.4 建立Template

确認Instance已經關閉，如下圖所示

然後卸下Instance上之前所挂載的ISO

然後選擇Instance對應的Volumes，點選Create Template

Name: Ubuntu-10.10

Description: Ubuntu Server 10.10 64-bit x86 with SSH

OS Type: Ubuntu 10.10 (64-bit)

Public: Yes

Password Enabled: No

Featured: No

init3-15.png

建立完成以後，即可以再Templates頁面中檢視到

11. 通過定制的Template建立VM Instance

通過剛剛建立好的Template，我們可以快速建立新的Instance

選擇Template

選擇剛剛建立好的Template

選擇xLarge Instance，可以根據需要自己選擇

選擇硬碟，由于之間建立的Template已經帶有20G硬碟

是以此處可以跳過，當然也可以選擇硬碟，但會作為從盤附在上面

預設沒有安全組，直接下一步

給Instance命名，并點選"Launch VM"建立

建立成功以後Instance狀态為Running

通過NICs頁面可以檢視到所綁定的IP位址

即可通過屬性頁面上檢視到IP位址，直接登入SSH

12. 其它優化設定

CloudStack對已經删除的Instance設定了一個保護時間

時間比較長，等于86400秒即24小時，我們可以将其設定的短一些

如300秒，即五分鐘

在Global Settings中搜尋expunge并設定，如下圖所示

然後重新開機Management Server使配置生效

$ sudo /etc/init.d/cloud-management restart

修改Security Group安全組政策，允許所有資料通過

13. 結束語

目前，整個CloudStack的安裝部署就已經完成了。

但，這僅僅是一個開始，CloudStack的更多功能，比如

1) 多節點分布式部署，将管理節點，Host節點，資料庫，NFS存儲區域都分開部署；

2) 內建 Amazon EC2；

3) VPC+VPN 網絡實作；

4) 多使用者權限設計與資源配置設定等

都有待我們進一步的研究和學習。

相信實際操作該文檔之後，對CloudStack的架構與各個子產品之間的聯系都有了更深的了解，完成以上内容都不是什麼難事了。

CloudStack, KVM, Mysql, NFS, Ubuntu, 雲計算, 虛拟化

版權所有© mcsrainbow，保留所有原創日志的權利。轉載請注明出處：http://heyLinux.com 。