天天看點

大資料應用的測試發展之路(三)

雲栖号資訊:【 點選檢視更多行業資訊

在這裡您可以找到不同行業的第一手的上雲資訊,還在等什麼,快來!

在前面的文章中,我們介紹了大資料應用在測試領域的六大問題以及解決方法。本文,我們将和大家大資料應用測試的未來發展趨勢。

後端服務測試的工具服務化

未來的大資料應用測試是什麼樣的呢?首先,我們認為後端服務類型的測試不再需要專職的測試人員,開發工程師在使用合理的測試工具的情況下可以更加高效地完成測試任務。專職的測試團隊,未來會更多地專注于偏前端與使用者互動層面的産品品質把控,跟産品經理一樣,需要從使用者的角度思考使用者在使用産品過程中可能遇到的品質問題,産品的傳遞與互動的驗證是産品測試的重點。

多數服務端的測試工作都是可以自動化完成的,且很多 service 級别的驗證也隻有通過自動化這種方式才能驗證。相較于測試同學,開發同學在 API 級别的自動化代碼開發方面能力會更強,而且如果是開發同學自己做測試,可以減少與開發同學之間的大量往返溝通的成本,而這個成本在整個釋出環節中占比很大。

另外,算法工程師在業務算法邏輯的了解上更加清晰,算法政策與邏輯的細節是他們設計實作的。是以,我們更希望後端的測試工作由工程或者算法工程師獨立完成,在這種新的生産關系模式下,測試同學更加專注于測試工具的研發,包括自動化測試架構、測試環境部署工具、測試資料構造與生成、釋出冒煙測試工具、持續內建與部署等。

這種模式也是 Google 一直在使用的測試模式,我們今年在這個方向嘗試了轉型,在品質變化和效率提升方面這兩方面效果還不錯。這裡需要強調的一點是,雖然測試團隊在這個方向上做了轉型,但後端測試還是需要繼續做,隻是測試任務的執行主體變成了開發工程師,大量後端測試的技術和方向還會繼續存在。後端服務類測試團隊轉型,除了效能工具之外,線上穩定性的建設也是一個非常好的方向。

測試的線上化

TIP(Test In Production)概念是十年前由微軟的工程師提出。

我們之是以認為 TIP 是未來測試的方向,主要是基于以下三點考慮:

首先,由于線下測試環境與真實線上環境總是存在一些差異,導緻測試結論也會有所偏差。目前大家使用最多的是性能測試或容量測試,由于後端服務的拓撲非常複雜,且許多子產品都有可擴充性,不同的資料對性能測試的結果也有很大的影響,測試環境與生産環境的不同會給測試結果帶來的巨大差異。另外,目前的生産叢集都是異地多活,在夜裡或者流量低谷的時候,單個叢集就可以承擔起所有流量請求,剩下的叢集可以很友善地用來壓測,這也給我們線上上做性能測試帶來了可能性。

其次,許多真實的演練測試隻能線上上系統進行,線上下測試環境是無法做到的,例如安全攻防、故障注入與演練等。

最後,從品質的最終結果看,不管是釋出前的線下測試,還是釋出後的線上穩定性建設,其目的都是為了減少系統故障的發生,如果把這兩部分融合在一起,針對最終的線上故障去做目标優化工作,可以最大程度地節約和利用人力資源。是以,我們認為線下測試與線上穩定性的融合必将是一個曆史趨勢,這一領域統稱為技術風險的防控。

技術的智能化

測試的第三個發展趨勢是技術的智能化,見圖 3。

大資料應用的測試發展之路(三)

類似于自動駕駛的分級,智能化測試也有不同的成熟度模型:人工測試、自動化、輔助智能測試、高度智能測試。機器智能是一個工具,在測試的不同階段都有其應用的場景,測試資料和用例設計階段、測試用例回歸執行階段、測試結果的檢驗階段、線上的名額異常檢測等諸多技術風險領域都可以用到不同的算法和模型。

智能化測試是發展到一定階段的産物,前提條件就是數字化,自動化測試是比較簡單一種數字化。如果沒有做到數字化或者自動化,其實是沒有智能分析與優化的訴求的。

另外,一些簡單算法的使用可能會有不錯的效果,比較複雜的深度學習甚至強化學習算法的效果反而一般。出現這種情況的原因可能有兩個,一個是特征提取和模組化比較困難,二是測試運作的樣本與回報的缺失。

運用最新的算法技術去優化不同的測試階段的效率問題,是未來測試的一個方向。但我們同時判斷,完全的高度智能測試與無人駕駛一樣,目前還不成熟,主要原因不在于算法與模型,而是測試資料的不足。

結束語

阿裡巴巴的搜尋推薦與廣告系統的品質建設之路,經過近 10 年的不斷發展,在許多測試同學的不斷努力付出之下,才能在如此衆多的細分領域方向上有所建樹,本文所介紹的方法也都濃縮在我們内部的工具之中,後面我們的想法還是逐漸開源,回饋社群。限于篇幅,本文的内容又較多,很多技術細節這裡并沒有辦法細細展開。如果想了解更多,歡迎大家加入我們的團隊或者開源社群,一起在以上的幾個方向做更加深入的研究與建設。

【雲栖号線上課堂】每天都有産品技術專家分享!

課程位址:

https://yqh.aliyun.com/zhibo

立即加入社群,與專家面對面,及時了解課程最新動态!

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK

原文釋出時間:2020-04-29

本文作者:公直

本文來自:“

InfoQ

”,了解相關資訊可以關注“

繼續閱讀