測試流程
測試準備
• 需求評審
在開發之前,産品經理應與開發同學、測試同學進行需求評審,确定本期的需求範圍和開發、測試邊界。
• 需求排期
确定需求範圍後,PTM按照PD給出的功能清單進行測試人天評估,進行測試排期,以及資源的安排,輸出測試計劃、測試方案。
• 需求确定上線時間
工作量預估之後,對整體的工作量有所把控,在測試排期之後進行uat的排期,最後确定上線時間。
• 測試用例編寫&評審
按子產品劃分測試資源,測試分工明确後,開始進行測試用例設計 • 測試用例評審
測試編寫之後與産品、客戶接口人、客戶營運團隊、具體實施的開發、同步進行評審
• 測試執行
開發在具體需求開發完成并冒煙測試通過後,發送提測郵件通知測試同學,并把對應代碼部署到測試環境供測試同學進行功能測試。測試開始進行測試執行工作:
一輪測試:
1.執行全量測試用例,且所有用例最終執行結果均為通過,一輪測試中産生的bug均修複驗證過,并關閉;
2.根據項目排期若測試時間比較緊張,在不加資源的情況下,可選兩種方案進行測試:
1)篩選P0,P1的測試用例,保證系統主流程,以及一般功能正常使用;
2)要求PD給出系統中優先子產品,測試時優先保證最高、高優先級子產品功能測試用例全部執行完成
備注:測試中若遇到環境不穩定、主流程阻塞等導緻測試無法進行時,需要統計阻塞測試時長,在當天測試日報中及時抛出風險,說明原因
二輪測試:
二輪測試可視測試時間進行安排,正常項目一般一輪測試完成後,就會直接進入UAT測試
專項測試(根據項目要求确定是否進行專項測試):
根據需求、客戶要求輸出專項測試方案:
移動端APP測試方案;
壓測方案;
接口測試方案;
相容性測試方案;
安全測試方案
• UAT啟動要求
◦ 内部測試完成
◦ 緻命/嚴重級别的 BUG 都已關閉
◦ 一般級别未修複 BUG<=5
◦ 測試負責人發送内部測試報告郵件通知客戶可以介⼊入 UAT 測試,附帶項⽬測試⽤例
◦ 産品經理準備好UAT用例并提前發送給客戶方
根據PM輸出的UAT計劃,進行UAT測試相關的教育訓練,主要涉及:
1)測試用例設計方案;
2)UAT現場bug送出步驟、模闆;
3)bug管理系統的使用
備注:正常情況,客戶方有專業的測試人員時,UAT測試用例由客戶輸出,若客戶方測試人員能力不足,或不專業,則由PD給出對應的UAT測試用例,抽出一位内部測試人員在現場駐場支援,解答客戶現場問題,并對bug進行确認,其餘内部測試同學則按照計劃繼續進行内部二輪回歸測試,若全量用例均已執行完成,則可進行探索式測試、發散測試等,保證功能測試中未覆寫到的測試場景能夠完全覆寫
• 發版上線
uat結束後,項目經理安排上線準備,進行上線動作。
上線前一天,各子產品測試負責人輸出線上回歸驗證的測試用例,并内部進行評審,正常情況線上回歸測試用例數量一般是全量用例的10%,優先篩選出全量用例中P0用例進行線上回歸驗證;
線上bug及時同步開發,并進行記錄以及複盤
測試環境要求
• 測試環境
測試環境環境
測試資料要求
• 測試資料規範——要有含義,不能随便便輸⼊一堆亂碼
• 測試賬号獨⽴——内部測試和 UAT 測試資料隔離
• 測試資料庫權限(測試環境) 對于涉及到需要修改資料庫字段值的,需要有對應的 case(例如測試需要 job 觸 發的功能),明确修改的表及字段
• 對于資料構造,如⾮必要,隻能通過⻚⾯或接口,不能通過資料庫直接插⼊對于時間、⽇期資料庫字段類型,注意資料格式的規範性
BUG 送出規範
• BUG 需要注明環境、通路連結、賬号/測試資料、重制步驟、預期結果、實際結 果、截圖(要能根據描述快速定位問題)
• BUG 優先級(緊急、重要、一般),阻塞流程的置為緊急,緊急 BUG 日清
• 指派給産品經理接⼝人,關注⼈為内部測試 PTM 同學接⼝人,由産品經理理确認問 題并指派給對應開發(區分優化需求/BUG)
• BUG 嚴重程度定義:
◦ 緻命:導緻業務主要服務不可用,造成業務資損,系統崩潰,資料錯誤和被破壞,當機
◦ 嚴重:主要功能部分沒有實作、産品和需求不符合,阻塞完整業務流程,程式接⼝口錯誤,性能問題導緻伺服器器 RT 過⻓和記憶體溢出等
◦ 一般:次要功能未實作、與産品需求規格書不不符、界⾯出現錯誤、格式錯** **誤、沒有進⾏一些特殊的限制和要求、删除内容沒有做提示等⽅面
◦ 輕微:發⽣在一些⼩的界⾯⽅面的問題。例例如錯别字、提示資訊、文法⽇日期 顯示格式不不正确、界⾯面不不美觀、操作不不友善和不習慣等諸多⽅面
• BUG 嚴重優先級定義:
◦ 緊急:阻塞主流程測試的,問題必須⻢上解決,否則系統根本⽆無法達到預定 的需求
◦ 高:有時間就要⻢上解決,關系到系統的主要功能子產品能否正常
◦ 一般:問題不影響主要功能的實作,但是影響其他使⽤用⽅面
測試準出标準
• 無遺留bug;測試計劃執行進度為100%
• BUG 嚴重程度為緻命/嚴重/⼀一般級别的 BUG 都已關閉
• 未修複的輕微級别 BUG 和 later 的 BUG 經 PM、産品經理理、測試負責人、客戶接口⼈确認),在⼤版本釋出前⼀一天雙⽅方共同 review 測試完成情況和未修複 BUG 情況,評估是否能釋出上線
• 客戶在 UAT 測試完成後,并将驗收結果告知 PM 和内部測試負責人