23 自動化部署

pexpect

Pexpect 是 Don Libes 的 Expect 語言的一個 Python 實作，是一個用來啟動子程式，并使用正規表達式對程式輸出做出特定響應，以此實作與其自動互動的 Python 子產品。 Pexpect 的使用範圍很廣，可以用來實作與 ssh、ftp 、telnet 等程式的自動互動；可以用來自動複制軟體安裝包并在不同機器自動安裝；還可以用來實作軟體測試中與指令行互動的自動化。

import pexpect
import sys

child = pexpect.spawn('ssh [email protected]')
child.logfile = sys.stdout
#fout = file('mylog.txt', 'w')
#child.logfile = fout
child.expect('password:')
child.sendline('std20')
child.expect('std20.*')
child.sendline('ls /')
child.expect('std20.*')
child.sendline('exit')
           

#coding=utf_8

from pexpect import pxssh
import sys

s = pxssh.pxssh()
s.logfile = sys.stdout
hostname = '123.57.211.212'
username = 'std20'
password = 'std20'
s.login(hostname, username, password)
s.sendline('ls /')
s.prompt()  #比對系統提示符
s.sendline('whoami')
s.prompt()  
s.logout()
           

fabric

項目釋出和運維的工作相當機械，頻率還蠻高，導緻時間浪費在敲大量重複的指令上。

修複bug什麼的，測試，送出版本庫(2分鐘)，ssh到測試環境pull部署（2分鐘），rsync到線上機器A,B,C,D,E（1分鐘），分别ssh到ABCDE五台機器，逐一重新開機(8-10分鐘) = 13-15分鐘

安裝

pip install fabric
           

入門示例

#fabfile.py
from fabric.api import run

def host_type():
    run('uname -s')
           

itcast@ubuntu:~/tmp/fab$ fab -H 127.0.0.1 host_type
[127.0.0.1] Executing task 'host_type'
[127.0.0.1] run: uname -s
[127.0.0.1] Login password for 'itcast': 
[127.0.0.1] out: Linux
[127.0.0.1] out: 


Done.
Disconnecting from 127.0.0.1... done.
itcast@ubuntu:~/tmp/fab$ fab -H 127.0.0.1 host_type
[127.0.0.1] Executing task 'host_type'
[127.0.0.1] run: uname -s
[127.0.0.1] Login password for 'itcast': 
[127.0.0.1] out: Linux
[127.0.0.1] out: 
           

fabric常用參數

-l : 顯示定義好的任務函數名
-f : 指定fab入口檔案，預設入口檔案名為fabfile.py
-H : 指定目标主機，多台主機用","号分割
           

fabric常用API

local : 執行本地指令，如：local('uname -s')

lcd : 切換本地目錄，如：lcd('/home')

cd : 切換遠端目錄，如：cd('/etc')

run : 執行遠端指令，如：run('free -m')

sudo : sudo方式執行遠端指令，如：sudo('touch /abc')

put : 上傳本地檔案到遠端主機，如：put('/hello', '/home/itcast/hello')

get : 從遠端主機下載下傳檔案到本地，如：get('/home/python/world', '/home/itcast/world')

reboot : 重新開機遠端主機，如：reboot()

@task : 函數裝飾器，辨別的函數為fab可調用的，非标記的對fab不可見，純業務邏輯

@runs_once : 函數裝飾器，辨別的函數隻會執行一次，不受多台主機影響
           

fabric全局屬性設定

env.host : 定義目标主機，如：env.host=['192.168.17.192', '192.168.17.193']

env.user : 定義使用者名，如：env.user="root"

env.port : 定義目标主機端口，預設為22，如：env.port="22"

env.password : 定義密碼，如：env.password="chuanzhi"

env.passwords : 不同的主機不同的密碼，如：env.passwords={'[email protected]:22':'chuanzhi', '[email protected]:22':'python'}
           

示例1：動态擷取遠端目錄清單

from fabric.api import *

env.hosts=['192.168.17.192', '192.168.17.193']
#env.password='python'
env.passwords = {
    '[email protected]:22':'python',
    '[email protected]:22':'python',
}

@runs_once
def input_raw():
    return prompt("please input directory name:", default="/home")

def workask(dirname):
    run('ls -l ' + dirname)

@task
def go():
    print('start ...')
    getdirname = input_raw()
    workask(getdirname)
    print('end ...')
           

示例2：上傳檔案并執行

from fabric.api import *

env.user = 'itcast'
env.hosts = ['192.168.17.192', '192.168.17.193']
env.password = 'python'

@task
@runs_once
def tar_task():
    with lcd('/home/itcast/testdemo'):
        local('tar zcvf demo.tar.gz demo.py')

@task
def put_task():
    run('mkdir -p /home/itcast/testdemo')
    with cd('/home/itcast/testdemo'):
        put('/home/itcast/testdemo/demo.tar.gz', '/home/itcast/testdemo/demo.tar.gz')

@task
def check_task():
    lmd5 = local('md5sum /home/itcast/testdemo/demo.tar.gz', capture=True).split(' ')[0]
    rmd5 = run('md5sum /home/itcast/testdemo/demo.tar.gz').split(' ')[0]
    if lmd5 == rmd5:
        print('OK ...')
    else:
        print('ERROR ...')

@task
def run_task():
    with cd('/home/itcast/testdemo'):
        run('tar zxvf demo.tar.gz')
        run('python demo.py')

@task
def go():
    tar_task()
    put_task()
    check_task()
    run_task()
           

代碼自動化部署

from fabric.api import *

env.user = 'itcast'
env.hosts = ['192.168.17.192', '192.168.17.193']
env.password = 'python'

@runs_once
@task
def local_update():
    with lcd("/home/itcast/tmp/itcasthello"):
        local("git add -A")
        local("git commit -m 'update'")
        local("git pull origin master")
        local("git push origin master")


@task
def remote_update():
    with cd("/home/itcast/tmp/itcasthello"):
        run("git checkout master")
        run("git pull origin master")

@task
def deploy():
    local_update()
    remote_update()