天天看點

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

愛迪生獎是阿裡測試技術領域的最高獎項,獎勵在測試領域有卓越表現和突出貢獻的技術團隊。

去年第四屆愛迪生大獎中,

淘系技術部——技術品質團隊斬獲了大賽冠軍

今年的5月21日,第五屆阿裡巴巴測試愛迪生大賽頒獎典禮正式舉行,經過一整天緊張激烈的評比,淘系技術技術品質團隊最終憑借《用戶端體驗分級之統一降級》在29個項目脫穎而出,再次斬獲大獎!本文将對此項目展開詳細的介紹。

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

背景

不知你是否遇到過如下情況:一個團隊辛苦做了半年的業務,大促期間是最好的驗證機會,但業務被評估記憶體高風險高,被迫提前關閉;專門為大促準備的活動,業務同學摩拳擦掌等拿結果,上線後由于某部分有問題導緻整個業務下線,這些顯然與我們業務先赢的願景是背離的。或是上線後引發崩潰但是卻因種種原因隻能硬抗,這帶給使用者的感受顯然與阿裡使用者第一的原則是不符的。

業務是必須要嘗試新玩法的,這是發展的基礎,近幾年像多媒體、AR、遊戲、動效、端智能已經鋪開了,但是使用者呢,16年上市的裝置與19年上市的裝置同時使用,可以很明顯的感受到流暢度的差距,對于依舊使用16年裝置的使用者來講,手淘使用感受就是 「難用」。

使用這些難用裝置的使用者有多少?19年11月的一份行業分析報告中可以看出,約 60% 的國産Android使用者購買的是2000元以下的裝置;超過 30% 的iphone使用者還在使用 5 年之前的機器,在四線城市這個資料接近 50%。

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

一邊是一些裝置性能較差的使用者回報卡頓,一邊是用戶端需要更炫酷的玩法去支撐業務發展。沖突出現了,比起不顧一切的上動效或是一刀切的砍玩法,顯然存在一個更合理的共赢的選項:

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

體驗分級

我們為用戶端提供一套無需業務代碼改動、快速生效、支援多元度篩選的通用分級降級能力。通過分級能力,高端機使用者可以有更炫酷更沉浸的玩法,低端機使用者可以有流暢的購物體驗;通過降級能力,業務能夠維持最大的可用性,将線上問題的影響面降到最低。目前統一降級已成為淘系主流業務的分級降級标準。

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

業務的接入非常簡單清晰,在平台上進行唯一 ID 的注冊,隻需要填寫這兩項,接下來端上在進入自身邏輯之前請求用戶端 SDK,用戶端 SDK 會根據目前裝置資訊以及平台配置資訊傳回給業務對應的政策,業務根據政策執行對應的業務邏輯,如果業務沒有特殊配置,至此基礎使用部分就完成了。

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

統一降級

對于個性化分級/線上止血的需求,平台支援對品牌、機型、版本、系統、裝置分、CPU架構、GPU分數等次元進行排列組合的靈活配置;舉個真實的例子,某業務在 iphone7 ios 13 線上出現崩潰,就隻需在平台上選擇 iphone7 、選 ios 13、選降級,當使用者裝置是iphone7 ios 13時就比對成功傳回業務想走的政策了。

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

再走一步試試

在19年的雙促實戰使用中,我們通過分析資料發現一個現象,很多時候crash會聚集在某幾款機型中,也就是說那幾款機型以較低的使用者占比貢獻了較高的crash占比。

那麼我們為何不再往前走一步,通過實時資料分析,給業務提供合理的推薦降級政策,關聯降級平台引導業務做出投入産出比較好的決策。

智能推薦流程圖:

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

智能推薦實際效果圖:

我們通過各個業務的 crash 分布占比資料,以及手淘使用者機型占比資料,進行算法模型關聯,推薦給業務高投入産出比的降級清單,幫助業務做決策。

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

使用者用腳投票才是真的好

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

裝置評分體系18年投入使用,統一降級體系19年投入使用,截止目前手淘内的互動活動、遊戲等新玩法都已接入,像閃屏、店鋪等一線子產品也已接入。大促主互動主會場從19年雙十一開始至馬上到來618分級降級全部依托統一降級能力。

使用效果舉例:

問題1:雙十一主互動上線後 crash 高于預期 ,迅速升為手淘 native crash的 top 1 問題

分析:通過統計資料并分析可以看出,crash主要集中在某幾款機型上,有10款機型crash占比 49% ,但是該10款機型的使用者占比很低。

之後決策通過統一降級能力進行止血:

  1. 針對指定機型執行降級
  2. 同時将手淘低端機分數線上擡,從 20分 擡高至 40分

效果:降級後,原10款機型crash占比從 49% 下降到 15%

降級前該crash占比總體 19.258% ,降級後該crash占比總體 8.94%。

下圖 紅線 為21号未降級資料,藍線 為22号已降級資料。可見效果比較明顯

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

問題2:321大促 ios 端店鋪直播卡片發生 crash ,雙端均無法上線。

分析:首先 ios 端進行降級,保證 andoroid 端正常上線有業務效果,接下來對ios進行修複後降級逐漸恢複。

效果見上圖:

目前手淘内的大型互動、遊戲使用統一降級已成為标準,我們所見的大盤上每一個數字都是一個真實使用者的感受,讓使用者用的舒心、讓業務玩法發揮最大價值,是我們需要持續建設的部分。

CRASH 大盤上每一個數字都是一個真實使用者的感受,每次一分級處理都是對業務和使用者共同的保護。

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

One More Thing

我們是淘系技術品質團隊,負責保障整個淘寶和天貓主站的業務品質,這裡有豐富多樣的業務場景和技術挑戰,我們将持續建設及完善整個淘系穩定性、提升使用者體驗。

📮如果您有興趣可将履歷發至:[email protected],期待您的加入~

關注「淘系技術」微信公衆号,一個有溫度有内容的技術社群~

阿裡測試技術最高獎,又被他們拿了!!!背景體驗分級統一降級再走一步試試使用者用腳投票才是真的好

繼續閱讀