對于現代軟體研發來說，持續、快速、高品質、低風險地傳遞需求特性，是業務對研發的主要訴求。而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測試回報也是其非常重要的一環，達到這一點，需要依靠測試自動化。
作為面向企業開發者的DevOps平台，雲效提供了豐富的能力，幫助大家在DevOps流程中落地測試自動化實踐。
簡單來說，企業自建測試自動化體系，分為三種形式：
形式一：基于開源測試自動化工具
很多企業自建測試自動化，都是從選擇一個開源測試自動化工具開始的。一個開源測試自動化工具，往往包含以下幾部分（以RobotFramework為例）：
- 測試執行工具，如robot
- 測試用例，如.robot檔案
- 測試結果和報告，如執行完生成的log.html和report.html
- 測試能力庫，用來完成特定的測試，如SeleniumLibrary
對于一個測試自動化體系，往往還需要加上：
- 排程和執行平台
- 結果分析與統計報表
- 測試結果通知能力
基于雲效，整個的架構是這樣的。
- 測試自動化用例存儲在雲效代碼平台的git倉庫中
- 用于執行測試自動化的測試步驟，基于雲效的自定義step能力建立
- 觸發和串聯代碼、建構和自動化測試的雲效流水線
- 通知機制（釘釘消息）
- 針對品質情況的資料報表，可以直接顯示在流水線測試結果中，也可以将資料發送給自建的資料報表服務展示
以RobotFramework架構為例，在雲效上接入開源測試自動化工具有以下幾步。
1. 選擇或編寫對應開源測試自動化工具的flow step
雲效沒有内置開源測試自動化元件，但是基于其提供flow cli工具，企業可以很容易地定制符合自己要求的測試自動化元件。如何通過flow cli實作并釋出一個flow step，可以參考雲效學院flow cli相關内容。
這裡，僅以RobotFramework為例，對其關鍵部分做一下說明。
首先通過flow step init指令初始化一個flow step元件的項目。
1.1 執行的環境和指令
在step.yaml檔案中，image為測試執行的環境鏡像，這裡是registry.cn-hangzhou.aliyuncs.com/feiyuw/flow-robotframework:1.0，鏡像的内容在Dockerfile裡面定義。
在items中添加type為shell的輸入框，用于設定執行指令，這裡預設值為robot -L Trace -d robot_logs .，目前目錄“.”即為代碼所在目錄。
# ... image: registry.cn-hangzhou.aliyuncs.com/feiyuw/flow-robotframework:1.0 items: - label: 執行指令 name: STEP_COMMAND type: shell value: | # NOTE: output directory should be robot_logs robot -L Trace -d robot_logs . # ... 1.2 紅線配置
首先在step.yaml中定義紅線配置元件，這些元件會在流水線配置步驟的時候顯示給使用者。
items: - label: 紅線資訊 name: CHECK_REDLINES type: addable_group rules: - require: false add_button: type: icon icon: plus text: 增加紅線 tip: icon: question-circle description: 紅線校驗失敗步驟标記為失敗 template: items: - name: redline label: 紅線 position: flat type: custom_redline_dropdown datamap: '[{"key": "PassRate", "type":"GE"}]' rules: -requires: false 另外在step.sh的最後添加紅線檢查部分，如：
redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default flow step編寫及調試完畢後，publish到目前企業中。
2. 在代碼庫中添加測試自動化用例
對于針對整個産品或一個子系統的自動化測試，我們建議自動化測試用例儲存在單獨的代碼倉庫中；而對于針對某個特定應用的自動化測試，我們建議其測試用例儲存在該應用的代碼倉庫中，并與開發使用同一個分支（推薦）。
将自動化測試用例與應用代碼在同一個代碼庫中管理，有許多好處：
- 測試用例與代碼互相比對且是最新的，讓自動化測試在開發階段就可以及時介入
- 直接複用開發的分支模式，不用考慮自動化用例的版本管理
- 開發和測試基于git代碼庫緊密協作，友善落地ATDD這樣的優秀實踐
- 容易內建到流水線中，當測試代碼或者開發代碼變更後都能快速被執行和回報，加速問題的定位和修複
示例：alpd-bot-ssh的測試自動化用例。
alpd-bot-ssh是一個SSH的服務，提供IP歸屬地查詢和天氣查詢能力，該測試自動化用例基于RobotFramework架構實作。其測試自動化用例儲存在代碼庫的atest目錄下，結構如下：
atest ├── __init__.robot ├── ip.robot # 用于ip歸屬地場景的測試集 ├── resources # 測試公共資源，包括通用變量定義、公共函數等 │ ├── common_resource.robot │ └── ssh_lib.py └── weather.robot # 用于天氣查詢場景的測試集 在代碼根目錄下，通過
robot -L Trace atest
執行測試。
3. 添加測試自動化節點到流水線
打開持續內建流水線，如果沒有，在flow上建立一個。
- 編輯流水線，添加一個空白任務
2.添加自定義步驟，“RobotFramework測試”
3.配置執行指令和紅線
4. 上傳測試報告到雲效，以在雲效流水線執行結果中展示
- 編輯第三步的測試自動化節點，添加一個步驟
2.配置測試報告目錄（這裡是robot_logs）和測試報告入口檔案（這裡是report.html）
5. 同步測試結果到自建的報表系統
有些時候，我們需要對測試結果進行進一步的統計分析，此時，僅靠測試自動化工具提供的報告就無法滿足了。通常，我們會自建一個報表系統。那麼，雲效中執行的測試自動化結果如何上傳到我們自建的報表系統呢？
5.1 確定報表系統能夠被雲效通路到
由于網絡問題，雲效無法通路我們建在私有網絡環境中的報表系統，要求報表系統開放公網通路接口。為了安全，我們建議僅開放必要的接口，同時做好IP白名單防護。
5.2 在flow step中添加上傳報告步驟
打開步驟1的flow step，編輯step.sh，添加上傳報告步驟。
注意：
該步驟需要放在redline檢查之前，同時建議傳遞的資訊包括：測試結果、代碼分支、代碼版本、送出者、流水線名字等。
# ... # sh -ex $WORK_SPACE/user_command.sh bash -c "$STEP_COMMAND" output=`python3 /root/parse_output.py $OUTPUT_XML` STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'` STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'` STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'` # upload test result to report server python3 /root/upload_to_report_server.py $OUTPUT_XML $CI_COMMIT_REF_NAME $CI_COMMIT_SHA $EMPLOYEE_ID $PIPELINE_NAME $BUILD_NUMBER redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default 最後的流水線大緻是下面這個樣子：
形式二：測試自動化自建Jenkins
對于已經自建Jenkins等工具用于測試自動化排程執行，甚至在Jenkins上進行了二次開發和定制的團隊，或者對于像ioT開發這樣有特殊環境要求的應用，複用現有的工具資源更為經濟。為此，雲效提供了與客戶現有Jenkins服務無縫對接的能力，幫助企業通過串聯起研發測試。
1. 確定自建Jenkins能夠被雲效通路到
自建Jenkins服務需要支援公網通路，以便雲效能夠通路并觸發對應的任務。同樣，為了安全考慮，建議僅開放必要的接口，并開啟IP白名單防護。
2. 添加Jenkins任務節點到流水線中
編輯雲效流水線，添加一個任務節點，選擇Jenkins任務。
接下來，配置Jenkins位址、認證方式、對應的Job名稱，以及觸發參數（上遊的建構鏡像）。
3. 檢視結果和統計報表
流水線被執行後，結果資訊會同步到Jenkins任務元件上，使用者可以在雲效流水線運作結果上直接跳轉到Jenkins Job日志。
對于統計報表，由于這種方式下，雲效不會儲存執行任務的任何資料，建議在Jenkins任務中完成資料的上傳等工作。
形式三：自建測試自動化平台
如果開源測試自動化工具無法滿足測試訴求，又有定制化的排程、觸發、管控等要求，部分企業會選擇自建測試自動化平台。對于這種情況，如何與雲效有機整合起來，做到研發一站式呢？
解決的方法和內建開源測試自動化工具類似，所不同的是，我們的自建測試自動化平台需要對雲效暴露兩個接口：
- 觸發測試執行
- 擷取測試結果
這裡我們假設自建測試自動化平台的位址為：http://taplatform.my.corp，兩個接口為：
- POST /api/v1/runs
request：{"ref_name": "feature/limit_1", "trigger_by": "yunxiao", "suites": "all"}
response：{"code": 0, "run_id": 123}
- GET /api/v1/runs/
response: {"code": 0, "status": "RUNNING|PASS|...", "report_link": "http://taplatform.my.corp/reports/1234", "summary": {"total": 1000, "pass": 1000, "duration": 1200}, ...}
1. 編寫flow step用于觸發測試自動化平台和設定紅線
實作方式與內建開源測試自動化工具的方法類似，主要是配置好step.yaml和step.sh。
step.yaml中配置自建測試平台的位址，以及測試用例的篩選參數，如：
items: - label: 測試平台位址 name: TEST_PLATFORM_HOST type: input value: http://taplatform.my.corp - label: 用例 name: SUITES type: input value: all # 用例篩選條件 step.sh中主要完成：
- 觸發測試平台執行對應測試用例
- 等待測試完成
- 驗證紅線卡點
如：
# sh -ex $WORK_SPACE/user_command.sh output=`python3 /root/run_and_wait_until_finish.py $TEST_PLATFORM_HOST $SUITES $EMPLOYEE_ID` STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'` STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'` STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'` redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default 其中run_and_wait_until_finish.py的實作步驟大緻如下：
import os import time import sys import requests def start_test_task(ta_host, suites, trigger_by): resp = requests.post(f'{ta_host}/api/v1/runs', json={'trigger_by': trigger_by, 'suites': suites}) if not resp.ok or resp.json()['code'] != 0: raise RuntimeError(f'create test task error: {resp.content}') return resp.json()['run_id'] def generate_report(ta_host, report_link): if not os.path.exists('report'): os.mkdir('report') with open('index.html', 'w') as fp: fp.write(f'''<html> <head> <title>Test Report</title> <meta http-equiv="refresh" content="0;URL={ta_host}/reports/{report_link}" /> </head> <body> <p>forwarding...</p> </body> </html>''') def wait_until_task_done(ta_host, run_id): while True: resp = requests.get(f'{ta_host}/api/v1/runs/{run_id}') if not resp.ok: raise RuntimeError(f'task error: {resp.content}') data = resp.json() if data.get('code') != 0: raise RuntimeError(f'task error: {data}') if data['status'] in ('PASS', 'FAILED'): generate_report(ta_host, data['report_link']) return data time.sleep(5) if __name__ == '__main__': if len(sys.argv) != 4: raise RuntimeError('invalid arguments') ta_host, suites, employee_id = sys.argv[1:] run_id = start_test_task(ta_host, suites, employee_id) run_info = wait_until_task_done(ta_host, run_id) summary = run_info['summary'] pass_cnt = summary['pass'] total_cnt = summary['total'] pass_rate = pass_cnt * 100 / total_cnt print('%d,%d,%d' % (pass_cnt, total_cnt-pass_cnt, pass_rate)) 其中調用了測試平台的兩個接口，并且生成了一個index.html的測試報告檔案。注意：該測試報告隻是将請求轉發到了自建測試平台的對應頁面上。
2. 添加測試自動化節點到流水線
在流水線上添加空白任務節點，在其中添加一個步驟，選擇前面我們自定義的flow step（記得publish到對應的企業中）。在步驟中配置好測試平台位址和測試用例，并設定好紅線資訊。
3. 檢視測試報告
在測試節點添加報告上傳步驟，測試報告目錄填“report”，測試報告入口檔案為“index.html”。
4. 資料統計與報表
在流水線執行結果中可以看到通過率等summary資訊，詳細的統計與報表建議在自建測試自動化平台内實作。
總結
- 當下還沒有實踐測試自動化且打算開始建設測試自動化能力：建議選擇形式一，基于開源測試自動化工具來建設。這樣可以把我們的精力集中到具體的測試工作，讓測試自動化能夠快速落地，同時又能享受到開源社群的大量的技術沉澱，少走彎路。
- 已經搭建了jenkins，但是沒有進行二次開發，僅用來執行自動化測試：建議選擇形式一，基于開源測試自動化工具來建設。這樣可以節省維護jenkins的成本，同時測試報告和卡點可以更好地與研發過程整合，避免工具割裂和資料孤島。
- 基于jenkins搭建了CICD流水線，或基于jenkins進行了二次開發和工具整合：建議選擇形式二，測試自動化自建jenkins。這樣能更快地進行系統整合，同時，也不會影響後續的遷移和改進動作。
- 自研測試自動化執行和分析平台：建議選擇形式三，自建測試自動化平台。如果不打算推倒重建，我們還是建議采用現有系統與雲效整合的方式，避免工具切換對團隊的幹擾，也可以更好地複用已有資源。