天天看點

軟體測試過程管理實踐

摘要

    随着 的蓬勃發展,測試過程的管理顯得猶為重要,過程管理已成為測試成功的重要保證。經過多年努力,測試專家提出了許多測試過程模型,包括V模型、W模型、H模型等等。這些模型定義了測試活動的流程和方法,為 測試管理 工作提供了指導。但這些模型各有長短,并沒有哪種模型能夠完全适合于所有的測試項目,在實際測試中應該吸取各模型的長處,歸納出合适的測試理念。“盡早測試”、“全面測試”、“全過程測試”和“獨立、疊代的測試”是從各模型中提煉出來的四個理念,這些思想在實際測試項目中得到了應用并收到了良好的效果。在運用這些理念指導測試的同時,測試組應不斷關注于基于度量和分析的過程的改進活動,不斷提高測試管理水準,更好的提高測試效率、降低測試成本。 測試技術

關鍵詞

測試過程模型 測試管理理念 可持續改進

引言

    1963年,在美國發生了這樣一件事:程式設計人員把一個FORTRAN程式的循環語句DO 5 I=1,3誤寫為DO 5 I=1.3。一點之差導緻飛往火星的火箭爆炸,造成1000多萬美元的損失。這種情況的發生,迫使人們考慮在軟體投入使用之前必須進行徹底的測試。今天,在軟體比較發達的國家,軟體測試已經成為一個獨立的産業,軟體公司紛紛建立獨立的測試隊伍研究測試技術并開展測試工作。中國的軟體測試起步較晚,但随着我國軟體産業的蓬勃發展以及人們對軟體品質的重視,軟體測試正在成為一個新興的産業。近兩年來,國内新成立專業性測試機構10餘家,一批批專業的軟體測試人員正湧現出來。每年國内都有大量的測試技術交流會議舉辦,有大量的測試研究論文在專業刊物上發表。在測試技術發展的同時,測試過程的管理顯得猶為重要。一個成功的測試項目,離不開對測試過程科學的組織和監控,過程管理已成為測試成功的重要保證。

1 測試過程概述

1.1 軟體測試過程概述

    軟體測試過程是一種抽象的模型,用于定義軟體測試的流程和方法。衆所周知,開發過程的品質決定了軟體的品質,同樣的,測試過程的品質将直接影響測試結果的準确性和有效性。軟體測試過程和軟體開發過程一樣,都遵循軟體工程原理,遵循管理學原理。

    随着測試過程管理的發展,軟體測試專家通過實踐總結出了很多很好的測試過程模型。這些模型将測試活動進行了抽象,并與開發活動有機的進行了結合,是測試過程管理的重要參考依據。

1.2 軟體測試過程模型介紹

V模型

    V模型最早是由Paul Rook在20世紀80年代後期提出的,旨在改進軟體開發的效率和效果。V模型反映出了測試活動與分析設計活動的關系。在圖1-1中,從左到右描述了基本的開發過程和測試行為,非常明确的标注了測試過程中存在的不同類型的測試,并且清楚的描述了這些測試階段和開發過程期間各階段的對應關系。

軟體測試過程管理實踐

圖1-1 軟體測試V模型

    V模型指出,單元和內建測試應檢測程式的執行是否滿足軟體設計的要求;系統測試應檢測系統功能、性能的品質特性是否達到系統要求的名額;驗收測試确定軟體的實作是否滿足使用者需要或合同的要求。

但V模型存在一定的局限性,它僅僅把測試作為在編碼之後的一個階段,是針對程式進行的尋找錯誤的活動,而忽視了測試活動對需求分析、系統設計等活動的驗證和确認的功能。

W模型

    W模型由Evolutif公司公司提出,相對于V模型,W模型增加了軟體各開發階段中應同步進行的驗證和确認活動。如圖1-2所示,W模型由兩個V字型模型組成,分别代表測試與開發過程,圖中明确表示出了測試與開發的并行關系。

    W模型強調:測試伴随着整個軟體開發周期,而且測試的對象不僅僅是程式,需求、設計等同樣要測試,也就是說,測試與開發是同步進行的。W模型有利于盡早地全面的發現問題。例如,需求分析完成後,測試人員就應該參與到對需求的驗證和确認活動中,以盡早地找出缺陷所在。同時,對需求的測試也有利于及時了解項目難度和測試風險,及早制定應對措施,這将顯著減少總體測試時間,加快項目進度。

    但W模型也存在局限性。在W模型中,需求、設計、編碼等活動被視為串行的,同時,測試和開發活動也保持着一種線性的前後關系,上一階段完全結束,才可正式開始下一個階段工作。這樣就無法支援疊代的開發模型。對于目前軟體開發複雜多變的情況,W模型并不能解除測試管理面臨着困惑。

軟體測試過程管理實踐

圖1-2 軟體測試W模型

H模型

    V模型和W模型均存在一些不妥之處。如前所述,它們都把軟體的開發視為需求、設計、編碼等一系列串行的活動,而事實上,這些活動在大部分時間内是可以交叉進行的,是以,相應的測試之間也不存在嚴格的次序關系。同時,各層次的測試(單元測試、內建測試、系統測試等)也存在反複觸發、疊代的關系。

為了解決以上問題,有專家提出了H模型。它将測試活動完全獨立出來,形成了一個完全獨立的流程,将測試準備活動和測試執行活動清晰地展現出來,如圖1-3所示。

軟體測試過程管理實踐
軟體測試過程管理實踐

圖1-3 軟體測試H模型

    這個示意圖僅僅示範了在整個生産周期中某個層次上的一次測試“微循環”。圖中标注的其他流程可以是任意的開發流程。例如,設計流程或編碼流程。也就是說,隻要測試條件成熟了,測試準備活動完成了,測試執行活動就可以(或者說需要)進行了。

    H模型揭示了一個原理:軟體測試是一個獨立的流程,貫穿産品整個生命周期,與其他流程并發地進行。H模型指出軟體測試要盡早準備,盡早執行。不同的測試活動可以是按照某個次序先後進行的,但也可能是反複的,隻要某個測試達到準備就緒點,測試執行活動就可以開展。

其他模型

    除上述幾種常見模型外,業界還流傳着其他幾種模型,例如X模型、前置測試模型等。X模型提出針對單獨的程式片段進行互相分離的編碼和測試,此後通過頻繁的交接,通過內建最終合成為可執行的程式。前置測試模型展現了開發與測試的結合,要求對每一個傳遞内容進行測試。這些模型都針對其他模型的缺點提出了一些修正意見,但本身也可能存在一些不周到的地方。是以在測試過程管理中,正确選取過程模型是一個關鍵問題。

1.3 軟體測試過程模型選取政策

    前面介紹的測試過程模型中,V模型強調了在整個項目開發中需要經曆的不同的測試級别,但忽視了測試的對象不應該僅僅是程式。而W模型在這一點上進行了補充,明确指出應該對需求、設計進行測試。但是V模型和W模型都沒有将一個完整的測試過程抽象出來,成為一個獨立的流程,這并不适合目前軟體開發中廣泛應用的疊代模型。H模型則明确指出測試的獨立性,也就是說隻要測試條件成熟了,就可以開展測試。

    在實際測試工作中我們應該盡可能地去應用各模型中對項目有實用價值的方面,不能強行的為使用模型而使用模型。在測試實踐中,我們采用的方法是:以W模型作為架構,及早的、全面的開展測試。同時靈活運用H模型獨立測試的思想,在達到恰當的就緒點時就應該開展獨立的測試工作,同時将測試工作進行疊代,最終保證完成測試目标。

2 測試過程管理理念

    生命周期模型為我們提供了軟體測試的流程和方法,為測試過程管理提供了依據。但實際的測試工作是複雜而煩瑣的,可能不會有哪種模型完全适用于某項測試工作。是以,我們應該從不同的模型中抽象出符合實際現狀的測試過程管理理念,依據這些理念來策劃測試過程,以不變應萬變。當然測試管理牽涉的範圍非常的廣泛,包括過程定義、人力資源管理、風險管理等等,本節僅介紹幾條從過程模型中提煉出來的,對實際測試有指導意義的管理理念。

2.1 盡早測試

    “盡早測試”是從W模型中抽象出來的理念。我們說測試并不是在代碼編寫完成之後才開展的工作,測試與開發是兩個互相依存的并行的過程,測試活動在開發活動的前期已經開展。

    “盡早測試”包含兩方面的含義:第一,測試人員早期參與軟體項目,及時開展測試的準備工作,包括編寫測試計劃、制定測試方案以及準備測試用例;第二,盡早的開展測試執行工作,一旦代碼子產品完成就應該及時開展單元測試,一旦代碼子產品被內建成為相對獨立的子系統,便可以開展內建測試,一旦有BUILD送出,便可以開展系統測試工作。

    由于及早的開展了測試準備工作,測試人員能夠于早期了解測試的難度、預測測試的風險,進而有效提高了測試效率,規避測試風險。由于及早的開展測試執行工作,測試人員盡早的發現軟體缺陷,大大降低了BUG修複成本。但是需要注意,“盡早測試”并非盲目的提前測試活動,測試活動開展的前提是達到必須的測試就緒點。

2.2 全面測試

    軟體是程式、資料和文檔的集合,那麼對軟體進行測試,就不僅僅是對程式的測試,還應包括軟體“副産品”的“全面測試”,這是W模型中一個重要的思想。需求文檔、設計文檔作為軟體的階段性産品,直接影響到軟體的品質。階段産品品質是軟體品質的量的積累,不能把握這些階段産品的品質将導緻最終軟體品質的不可控。

    “全面測試”包含兩層含義:第一,對軟體的所有産品進行全面的測試,包括需求、設計文檔,代碼,使用者文檔等等。第二,軟體開發及測試人員(有時包括使用者)全面的參與到測試工作中,例如對需求的驗證和确認活動,就需要開發、測試及使用者的全面參與,畢竟測試活動并不僅僅是保證軟體運作正确,同時還要保證軟體滿足了使用者的需求。

    “全面測試”有助于全方位把握軟體品質,盡最大可能的排除造成軟體品質問題的因素,進而保證軟體滿足品質需求。

2.3 全過程測試

    在W模型中充分展現的另一個理念就是“全過程測試”。雙V字過程圖形象的表明了軟體開發與軟體測試的緊密結合,這就說明軟體開發和測試過程會彼此影響,這就要求測試人員對開發和測試的全過程進行充分的關注。

    “全過程測試”包含兩層含義:第一,測試人員要充分關注開發過程,對開發過程的各種變化及時做出響應。例如開發進度的調整可能會引起測試進度及測試政策的調整,需求的變更會影響到測試的執行等等。第二,測試人員要對測試的全過程進行全程的跟蹤,例如建立完善的度量與分析機制,通過對自身過程的度量,及時了解過程資訊,調整測試政策。

    “全過程測試”有助于及時應對項目變化,降低測試風險。同時對測試過程的度量與分析也有助于把握測試過程,調整測試政策,便于測試過程的改進。

2.4 獨立的、疊代的測試

    我們知道,軟體開發瀑布模型隻是一種理想狀況。為适應不同的需要,人們在軟體開發過程中摸索出了如螺旋、疊代等諸多模型,這些中需求、設計、編碼工作可能重疊并反複進行的,這時的測試工作将也是疊代和反複的。如果不能将測試從開發中抽象出來進行管理,勢必使測試管理陷入困境。

    軟體測試與軟體開發是緊密結合的,但并不代表測試是依附于開發的一個過程,測試活動是獨立的。這正是H模型所主導的思想。“獨立的、疊代的測試”着重強調了測試的就緒點,也就是說,隻要測試條件成熟,測試準備活動完成,測試的執行活動就可以開展。

    是以,我們在遵循盡早測試、全面測試、全過程測試理念的同時,應當将測試過程從開發過程中适當的抽象出來,作為一個獨立的過程進行管理。時刻把握獨立的、疊代測試的理念,減小因開發模型的繁雜給測試管理工作帶來的不便。對于軟體過程中不同階段的産品和不同的測試類型,隻要測試準備工作就緒,就可以及時開展測試工作,把握産品品質。

3 測試過程管理實踐

    本節以一個實際項目系統測試過程(不對單元測試和內建測試過程進行分析)的幾個關鍵過程管理行為為例,來闡述上節中提出的測試理念。在一個構件化ERP項目中,由于前期需求不明确,開發周期相對較長,為了對項目進行更好的跟蹤和管理,項目采用增量和疊代模型進行開發。整個項目開發共分三個階段完成:第一階段實作進銷存的簡單的功能和工作流;第二階段:實作固定資産管理、财務管理,并完善第一階段的進銷存功能;第三階段:增加辦公自動化的管理(OA)。該項目每一階段工作是對上一階段成果的一次疊代完善,同時将新功能進行了一次疊加。

3.1 策劃測試過程

    依據傳統的方法,将系統測試作為軟體開發的一個階段,系統測試執行工作将在三個階段完成後開展,很明顯,這樣做不利于BUG的及時暴露。有些缺陷可能會埋藏至後期發現,這時的修複成本将大大提高。我們依據“獨立和疊代”的測試理念,在本系統中,對測試過程進行獨立的策劃,找出測試準備就緒點,在就緒點及時開展測試。該系統的三個階段具有相對的獨立性,在每一階段完成所送出的階段産品具有相對的獨立性,可以作為系統測試準備的就緒點。故而,在該系統開發過程中,系統測試組計劃開展三階段的系統測試,每個階段系統測試具有不同的側重點,目的在于更好的配合開發工作盡早發現軟體BUG,降低軟體成本。軟體開發與系統測試過程的關系如圖3-1所示。

    實踐證明,這種做法起到了預期的效果,與開發過程緊密結合而又相對獨立的測試過程,有效的于早期發現了許多系統缺陷,降低了開發成本,同時也使基于複雜開發模型的測試管理工作更加清晰明了。

軟體測試過程管理實踐

3.2 把握需求

    在本系統開發過程中,需求的擷取和完善貫穿每個階段。對需求的把握很大程度上決定了軟體測試是否能夠成功。系統測試不僅僅确認軟體是否正确實作功能,同時還要确認軟體是否滿足使用者的需要。依據“盡早測試”和“全面測試”原則,在需求的擷取階段,測試人員參與到了對需求的讨論之中。測試人員與開發人員及使用者一起讨論需求的完善性與正确性,同時從可測試性角度為需求文檔提出建議。這些建議對開發人員來說,是從一個全新的思維角度提出的限制。同時,測試組結合前期對項目的把握,很容易制定出了完善的測試計劃和方案,将各階段産品的測試方法及進度、人員安排進行了策劃,使整個項目的進展有條不紊。

實踐證明,測試人員早期參與需求的擷取和分析中,有助于加深測試人員對需求的把握和了解,同時也大大促進需求文檔的品質。在需求人員把握需求的同時,于早期制定項目計劃和方案,及早準備測試活動,大大提高了測試效率。

3.3 變更控制

    變更控制展現的是“全過程測試”理念。在軟體開發過程中,變更往往是不可避免的,變更也是造成軟體風險的重要因素。在本系統測試中,僅第一階段就發生了7次需求變更,調整了兩次進度計劃。依據“全過程測試”理念,測試組密切關注開發過程,跟随進度計劃的變更調整測試政策,依據需求的變更及時補充和完善測試用例。由于充分的測試準備工作,在測試執行過程中,沒有廢棄一個測試用例,測試的進度并沒有因為變更而受到過多影響。

3.4 度量與分析

    對測試過程的度量與分析同樣展現的“全過程測試”理念。對測試過程的度量有利于及時把握項目情況,對過程資料進行分析,很容易發現優勢劣勢,找出需要改進的地方,及時調整測試政策。

    在ERP項目中,我們在測試過程中對不同階段的BUG數量進行了度量,并分析測試執行是否充分。如圖3-2所示,通過分析我們得出:相同時間間隔内發現的BUG數量呈收斂狀态,測試是充分的。在BUG數量收斂的狀态下結束細測是恰當的。

軟體測試過程管理實踐

圖3-2 軟體開發與系統測試關系圖

    測試中,我們對不同功能點的測試資料覆寫率和發現問題數進行度量,以便分析測試用例的充分度與BUG發現率之間的關系。如表3-1所示,對類似子產品進行對比發現:某一功能點上所覆寫的測試資料組越多,BUG的用例發現率越高。如果再結合工作量、用例執行時間等因素進行統計分析,便可以找到适合實際情況的測試用例書寫粒度,進而幫助測試人員判斷測試成本和收益間的最佳平衡點。

表3-1 測試資料覆寫率與BUG發現率對應表

子產品名稱 功能點數 測試資料數 測試資料覆寫率 BUG 的用例發現率()
子產品AA 6 個 75 組 12.5 組/每功能點 40% (6/15)
子產品BB 30 個 96 組 3.3 組/每功能點 17% (7/42)
子產品CC 15 個 87 組 5.1 組/每功能點 18% (5/28)
子產品DD 16 個 46 組 2.8 組/每功能點 23% (5/22)
         … ...

注:通過統計可以得出測試資料與BUG發現率之間的關系,便于及時調整測試用例編寫政策。

    所有這些度量都是對測試全過程進行跟蹤的結果,是及時調整測試政策的依據。對測試過程的度量與分析能有效的提高了測試效率,降低了測試風險。同時,度量與分析也是軟體測試過程可持續改進的基本。

4 測試過程可持續改進

    測試技術發展到今天,已經存在諸多可供參考的測試過程管理思想和理念。但資訊技術發展一日千裡,新技術不斷湧現,這就注定測試過程也需要不斷的改進。我們提倡基于度量與分析的可持續過程改進方法(本文不做詳細論述)。在這種方法中,對現狀的度量被制度化,并作為過程改進的基礎。組織可以自定義需要度量的過程資料,将收集來的資料加以分析,以找出需要改進的因素。在不斷的改進中,同步的調整需要度量的過程資料,使度量與分析始終為了過程改進服務,而過程改進也包含對度量和分析的改進。

    掌握了基于度量和分析的可持續過程改進方法,測試過程管理将能夠不斷完善,測試活動将能夠始終處于優化狀态。

參考文獻:

[1] 鄭人傑,殷人昆.實用軟體工程.第二版.北京:清華大學出版社,1997:203.

[2] 柳純錄,黃子河,陳渌萍.軟體評測師教程.北京:清華大學出版社,2005:92.

[3] 林銳,等.CMMI3級軟體過程改進方法與規範.北京:電子工業出版社,2003:119.

[4] 中華人民共和國國家标準.評價者用的過程.GB/T18905.

更多精彩内容請通路    www.17testing.com