阿裡QA導讀：10月20日，阿裡雲移動研發平台EMAS應用品質管理沙龍，首站杭州取得圓滿成功！此次沙龍邀請到淘寶進階技術專家韓锷，阿裡雲技術專家尚仁、玄工、寶文、州牧和大家進行分享交流。現場圍繞無線性能測試解決方案、無線App線上品質監控實踐、雲原生移動DevOps解決方案、熱修複服務展開分享交流。阿裡雲EMAS聯合手淘技術，現場重磅釋出了TMQ & MQC無線性能測試解決方案，方案基于上雲場景進行共建，打造出通用的高标準性能分析工具。
前言
随着網際網路的蓬勃發展，APP的快速使用者增長已經度過了蜜月期，每個行業的競品軟體都多達數十甚至上百款。如何在衆多競品軟體中脫穎而出，保持份額增長？除了業務上的創新外，使用者體驗也至關重要。
從淘寶的使用者回報中我們發現“卡頓”、“反應慢”、“發熱”、“白屏”的回報都特别多。可以看出，使用者在使用軟體的過程中，除了基本功能，對軟體體驗也有越來越高的要求。另外，從使用者資料分析：頁面響應時長直接影響頁面的跳失率，應用的流暢度直接影響使用者使用時長，發熱、耗電等現象會導緻應用打開頻次降低。
性能測試成為用戶端品質來說越來越重要的一環，手淘為解決性能測試，進行了不斷的工具疊代。同時阿裡雲面向的B端客戶也遇到了類似的問題場景。是以，手淘和雲智能團隊決定合作，建立一套通用的新一代無線性能測試解決方案，并于10.20正式釋出。
性能測試的痛點
- 測試工具紛繁複雜，adb、Android studio、Instruments、N多其他内外部工具，每次拉群确認口徑。
- 不同工具資料不一緻，自動化和手工測試資料不一緻，經常花式複測對資料
- 兩端測試工具體驗不一緻，很多不熟悉用戶端的同學工具學習成本高，學完Android還要學iOS
- 不同機型資料差距大，沒有通用機型無法産出可對比報告
- 正常測試工具需要人工同步記錄資料，沒有可視化報告
- 性能測試有競品對比的訴求，需要同時産生自己應用的資料和競品資料
- 部分同學windows電腦，無法使用xcode進行iOS性能測試
通用性能測試需要解決的問題
- 通用性：不root，不越獄，不侵入
- 跨平台：mac, Win, Linux, 雲測
- 易用性：一鍵安裝環境，學習成本低，雙端體驗一緻，持久化報告
- 穩定性：自身性能損耗小，資料準确
淘系性能測試演進之路
性能測試1.0：掌中測
- 這是一套做在用戶端端測試包上的随身測試工具
- 優點：簡單便捷，打開應用即可測試。
- 缺點：
-
- 很明顯測試工具與被測應用在同一個程序下，對被測應用性能有損
- 測試資料需要人工記錄，無法持久化對比。
- 工具隻能內建到debug包，幹擾較多，無法測試正式包性能
- 無法測試其他競品應用
性能測試2.0：TMQLab
- 手淘性能測試桌面工具
- 優點：
-
- 采用非侵入方案，可以使用release包進行測試
-
- 部分非用戶端同學（比如H5開發），外包同學，本地甚至沒有Java環境。
- 性能驗收需要特定機型測試，使用者本地沒有該裝置
性能測試3.0：新一代無線性能測試解決方案
- 基于遠端真機平台的深度性能測試解決方案
- 解決了TMQLab的環境和裝置問題，測試更穩定
- 采集能力雲上通用，提供給集團更多平台，也提供給外部客戶使用
其優點如下：
- 使用者完全不需要準備環境，使用者隻需要使用賬号登入到雲真機平台即可測試。
- 雙端的測試體驗一緻，Android iOS雙端性能測試再無平台門檻
- 使用Android、iOS雙端非侵入方案，無需對被測應用進行任何定制改動
- 雲上的測試用例和測試報告管理，所有曆史資料均可回溯和對比
- 測試手機部署在專業的實驗室環境下，裝置和網絡穩定性都得到了非常大的提高
效率提升：
- 初次環境安裝時間從1天降為0，包括Android Studio/Instruments等專業工具，以及java/adb/xcode等基礎工具，且無需更新維護
- 減少手機環境準備時間，開發者選項、合适的資料線都不需要了
- 雲真機平台的大量裝置讓你更輕松的找到合适的手機
- 自動生成的可對比的性能報告，節約了大量資料統計時間。
使用者再也不需要在電腦上裝各種這些基礎工具，産品營運同學都可以玩轉性能測試。測試環境準備時間從1 day降為0，單測性能驗收時間從3h降為15min。
這樣一套雲上性能測試方案，可以滿足阿裡内部和外部客戶的性能測試需求
新一代無線性能測試架構
淘系聯合阿裡雲的新一代無線性能測試解決方案，将性能測試能力封裝成通用sdk，通過agent-service部署在主控端上
圖1-雲上性能測試部署方案
圖2-PerfSDK架構圖
阿裡雲應用品質管理主題沙龍現場
在10.20的阿裡雲應用品質管理主題沙龍現場，TMQ無線性能測試解決方案作為核心産品第一個進行釋出。現場反應熱烈，很多參會者提出各種各樣的技術問題，遠遠超過預期，這也側面說明性能測試是B端客戶亟需的能力。
關注「阿裡巴巴技術品質」閱讀更多