天天看點

轉:google測試分享-問題和挑戰

前言:這個系列分享的内容大部分都是出自于《google是如何測試的》的書,不是我YY的,我隻是大自然的搬用工,希望對大家有那麼一點點的用處,當然後面也會有個人的一些想法。

上一次分享了google測試分享-測試經理,大概說了下google的測試經理的職責和工作範圍,以及測試經理的價值展現。本來想斷更了,感覺大家都沒啥激情讨論問題了,但是已經堅持了4期了,就差兩期了,算是給自己一個交代吧。在測試效率和技術面前,任何公司都會遇到各種問題,那這次會聊一聊google測試團隊遇到了哪些問題和挑戰,以及google是如何來解決和避免的。

為了讓這些blog分享更有邏輯性,我打算分幾個專題來分享google測試相關的測試理念。

google測試分享-SET和TE

google測試分享-分層測試

google測試分享-GTA

google測試分享-測試經理

google測試分享-問題和挑戰

google測試分享-未來測試 

談到google測試遇到的問題和挑戰之前,我想簡單的羅列下國内軟體測試行業遇到的幾個共同的問題:

(1)測試人員的價值輸出難以衡量。現在很多項目釋出上線,大部分價值都是開發貢獻的,還有一部分是産品經理貢獻的,測試貢獻的就是錦上添花,很難讓人信服業務發展價值的貢獻。

(2)使用者體驗測試難以形成。随着這些年的軟體測試技術的發展,測試人員保證産品上線品質上沒有任何問題,但是在移動網際網路時代,使用者對産品的體驗要求更高,不是要求沒有功能性的問題,而是要好用,用的很爽,這裡面測試能産生的價值就需要好好思考了。

(3)自動化測試和手工測試的平衡。這幾年自動化測試技術的發展,讓很多公司的測試團隊都大力開展自動化測試,包括靈活測試的推廣,都是自動化測試對于産品的價值展現不能夠分析的非常清楚;同時對應自動化測試和手工測試的融合度不夠清晰,導緻一個産品的自動化測試和手工測試的分布不均或嚴重不足等各種情況。

(4)開發測試全棧之路。大家都說測試人員是守門員,是品質的最後保證。阿裡集團這邊有些BU的測試工程師的獨立測試工作已經取消了,目的是想讓開發同學自己負責起自己的代碼品質任務,自己做好自測工作。測試人員也去做開發工作,當然也就包括自己開發功能的測試工作。目前這種做法也是一個嘗試過程,是不是要這麼個極端,還是測試和開發工作内容的慢慢滲透,這些想法會在最後一part,測試的未來中詳細的讨論。

當然了,國内軟體測試行業遇到的問題和挑戰不僅僅是這些,而且每個公司都會不一樣。google測試在經曆這些年的發展,對于測試職責的了解也會存在變化,還是會出現一些問題,具體如下:

(1)認為測試是很容易的事情。測試階段一直是軟體開發周期中的最後一環,很多人會認為測試人員成了開發人員的拐杖(防止開發人員跌倒了,形象的比喻防止了開發釋出上線的産品挂了),測試人員把很多品質保證的事情都做完了,責任方也很容易确定,就可以直接釋出上線了。或者覺得測試是一種很容易的事情,可以随時外包出去,讓測試不再成為軟體研發的瓶頸。

(2)測試人員更關注自己的角色,而不是他們的産品。google内部也是存在這個問題,這種現象可能是開發和測試的組織結構分離有關。測試團隊會更加關注測試效率,測試技術創新,測試架構開發等,對業務産品的發展和使用者體驗的關注度相當會縮小。

(3)測試人員往往崇拜測試産物勝過軟體本身。更多人認為測試的價值是在于測試的動作,而不是測試産物。所有測試産物的價值,在于它們對代碼的影響,進而通過産品來展現。獨立的測試團隊,傾向于把重點放在建設和維護測試産物上。其實測試人員必須把産品放在第一位。

(4)測試做了很多後,釋出出去的産品還是會存在漏測。是誰在做測試并不重要,關鍵是進行了測試,内部試用者、可信賴的測試者、衆包測試者,以及早期使用者都可能比測試工程師更容易發現bug。實際上,讓TE做的測試越少,支援其他人做的測試越多,效果就越好。

其實作為大公司還會遇到其他的挑戰,比如之前我們經曆過工具的百花齊放的輝煌時代,現在就需要解決測試工具的統一性問題(各個BU或部門都會使用自己開發的工具),這個挑戰涉及到各個BU或各個部門的績效和心血,不是那麼容易解決的。現在阿裡測試團隊BU化,這個問題就會更難解決了,重複建議不可避免,這個就需要我們的測試架構師更多的了解和融合其他測試團隊的測試工具和測試創新。

另外還強調一個挑戰就是線上監控,大家都知道,網際網路的速度和效率要求最高,讓使用者成為你的測試人員無可厚非,但是從系統層面來看,我們還是希望線上系統在運作過程中,能自動化監控線上資料的正确性和完整性,進而監控線上功能的正确性,甚至能自動化的解決這些線上bug。當然了,這個問題我們也在探索實踐過程中,特别是雙11&12大促期間,線上幾百個頁面和資料的自動化檢查和監控。另外就是從線上大資料的分析過程中,計算出業務邏輯規則存在的漏洞,也是我們近期需要解決的方向,甚至可以根據我們設定的資料檢查服務來自動化的訂正線上錯誤的資料。

繼續閱讀