前語
最近,Android手機上的手機管家更新了新版本,提供了紅包鬧鐘功能,隻要有微信紅包或者QQ紅包,就會自動提醒。恰逢最近又在做UI自動化的工作,使用到UI Automator架構。幾行代碼,就可以讓手機自動完成某些操作,很有意思,今天就來扒一扒這背後的原理。
UI Automator
首先,官方文檔鎮樓:https://developer.android.com/training/testing/ui-automator
傳統的手工測試,我們需要點選一些控件元素,來檢視輸出的結果是否符合預期。比如在登入界面,輸入正确的使用者名和密碼,點選登入按鈕後,就可以正常登入。
如果這些操作,每一次都需要手工執行的話,是需要大量的人力成本的,比如手機QQ安卓端, 手工用例有上萬條。是以就需要大力推廣自動化測試。
UI自動化作為測試金字塔的最頂層,承擔了端到端的需求回歸與灰階驗證任務,其重要性不言而喻。

UI Automator
作為一款Google谷歌推出的,用于UI自動化測試的工具,有着優秀的API與社群文檔。也是目前主流的Android自動化測試架構。它提供了一系列用于擷取手機上頁面控件元素和操作元素的方法,非常友善。
注意:
UI Automator
測試架構是基于
instrumentation
的API,運作在
Android JunitRunner
之上,同時
UI Automator Test
隻運作在
Android 4.3(API level 18)
以上版本。
從一次搶紅包說起
想想我們平時搶紅包的流程是什麼樣的呢?
假如你現在正在刷劇,這時候通知欄提醒你微信有紅包了,于是你點選通知欄的消息,進入了微信頁面,找到了紅包,再點選拆紅包的按鈕,小手一抖,幾毛到手。
這麼一想,其實這些步驟完全是一個體力活,要是有個機器人能自動搶就好了!
這個機器人的背後就是
AccessibilityService
,當然它的具體作用我們稍後再講。
按照我們的現有的邏輯,自動搶紅包大緻分為以下幾個步驟:
- 識别擷取通知欄的微信紅包的通知事件
- 點選通知欄的消息
- 擷取紅包的消息
- 點選按鈕拆紅包
這裡面最最重要的兩個步驟就是識别,操作。接下來我們侃侃這兩步。
怎麼識别頁面控件元素?
首先,我們先來認識一下
UI Automator viewer
這個工具,位于
<android-sdk>/tools/bin
目錄下,他可以很友善地掃描和分析 Android 裝置上目前顯示的界面元件,展示一棵完整的控件樹,與某一個葉子節點(控件元素)的屬性。
從上圖我們可以看到,頁面的一個登入按鈕元素,有自己的text屬性,resource-id屬性,content-desc屬性等等。
在UI Automator中,存在uiDevice類,可以通過findObject方法,檢視到這些控件元素。
UiObject2 login_btn = uiDevice.findObject(By.desc("登入"));
現在我們深入
findObject
方法,
public UiObject2 findObject(BySelector selector) {
// 這裡傳回比對選擇器的第一個節點,如果沒有找到比對的話,就傳回null
AccessibilityNodeInfo node = ByMatcher.findMatch(this, selector, getWindowRoots());
return node != null ? new UiObject2(this, selector, node) : null;
}
可以看到,這裡傳入了一個選擇器
selector
,然後在
ByMatcher
的
findMatch
方法中查詢,如果找到了,就傳回一個
AccessibilityNodeInfo
的node,如果沒有找到就傳回null。
首先看
ByMatcher
是什麼東東?這是一個實用工具類,通過它的方法,我們可以在一個樹形結構中搜尋到比對selector的節點。
findMatch
方法很簡單,就是一個從根節點開始搜尋的樹型搜尋方法,不用多說。
AccessibilityNodeInfo
是什麼呢?這相當于一個節點,在
AccessibilityService
的角度來看,這就是一個可通路到的控件節點。
那這麼來看,
findMatch
的第三個參數,就是傳入的控件樹的根節點了嗎?我們深入看一下這裡的
getWindowRoots
方法的關鍵代碼,
/** 這裡傳回活動視窗容器的root節點的清單 */
AccessibilityNodeInfo[] getWindowRoots() {
// 等待線程空閑後再執行
waitForIdle();
// 初始化一個root節點的集合
Set<AccessibilityNodeInfo> roots = new HashSet();
// 通過UiAutomation擷取目前最底部的根視窗容器的root節點
AccessibilityNodeInfo activeRoot = getUiAutomation().getRootInActiveWindow(); // 這裡使用UiAutomation的方法
if (activeRoot != null) {
roots.add(activeRoot);
}
// 多視窗容器的搜尋
if (UiDevice.API_LEVEL_ACTUAL >= Build.VERSION_CODES.LOLLIPOP) {
for (AccessibilityWindowInfo window : getUiAutomation().getWindows()) { // 這裡使用UiAutomation的方法
AccessibilityNodeInfo root = window.getRoot();
…………
roots.add(root);
}
}
return roots.toArray(new AccessibilityNodeInfo[roots.size()]);
}
這裡要提一下, UiAutomation是Google在Android4.3的時候,釋出的一個自動化架構,它提供了與系統底層互動的能力。
再往下,我們看看
UiAutomation
的
getWindows
方法的關鍵代碼:
public List<AccessibilityWindowInfo> getWindows() {
……
return AccessibilityInteractionClient.getInstance()
.getWindows(connectionId);
}
這裡擷取了
AccessibilityInteractionClient
的執行個體,然後傳回了client的
getWindows
方法結果。然後再看一下這個
getWindows
方法的關鍵代碼,
public List<AccessibilityWindowInfo> getWindows(int connectionId) {
……
IAccessibilityServiceConnection connection = getConnection(connectionId);
if (connection != null) {
// 首先去查詢緩存,如果緩存是有的,直接傳回
List<AccessibilityWindowInfo> windows = sAccessibilityCache.getWindows();
……
return windows;
}
……
// 如果上面的緩存不存在,就調用connection.getWindows方法
windows = connection.getWindows();
……
if (windows != null) {
// 把上面擷取到的新的windows放置緩存,并傳回
sAccessibilityCache.setWindows(windows);
return windows;
}
}
……
}
從
IAccessibilityServiceConnection
開始,在IDE中就開始提示
Cannot resolve symbol 'IAccessibilityServiceConnection'
,無法再跳轉追蹤了。這是因為這個檔案屬于aidl檔案,這是Android中用于跨程序通信的接口檔案,其具體源碼可以在
GoogleSource
上面看到,有興趣的同學可以去看一下:IAccessibilityServiceConnection.aidl。 這說明,到這裡,
UI Automation
程序開始了與
AccessibilityService
程序的通信。我們把目前的程式可以當做是用戶端,那麼Android系統服務就是服務端,從這裡開始,真正深入到Android系統的核心。在下面,就是Android Native的Library庫。
這裡,我們可以用時序圖總結一下:
怎麼操作頁面頁面元素?
我們現在已經知道了
UI Automator
是怎麼識别控件的,那怎麼操作控件元素呢?比如實作控件的自動點選。
我們還是從源碼開始入手。比如一個控件元素的點選動作,在
UiObject2
類中,關鍵代碼如下:
public void click() {
mGestureController.performGesture(mGestures.click(getVisibleCenter()));
}
首先,
getVisibleCenter
方法可以根據控件節點資訊,也就是上面提到的
AccessibilityNodeInfo
,擷取到這個控件節點的中心坐标點。然後把這個坐标點傳給
mGesture
的
click
方法,這裡是為了封裝點選動作,最後交給
mGestureController
對象的
performGesture
方法去實施這個點選動作。
對于
mGesture
的
click
方法,這個
mGesture
是一個構造工廠,它的
click
方法直接生成了一個
PointerGesture
對象,這個對象表示的是執行手勢操作時的動作。比如手勢的開始坐标點,結束坐标點,持續時間,移動方向,速度等等。
重點看一下
mGestureController
對象的
performGesture
方法,其關鍵代碼如下:
public void performGesture(PointerGesture ... gestures) {
…………
// 執行傳入的手勢操作動作
MotionEvent event; // 這個是關于運動事件
for (……) {
…………
// 初始化運動事件,并調用UI Automation的injectInputEvent注入事件,異步執行
event = getMotionEvent(……);
getDevice().getUiAutomation().injectInputEvent(event, true);
…………
}
…………
}
}
這裡可以看到事件的注入,也是通過
UI Automation
來完成的。看一下
injectInputEvent
方法的關鍵代碼,
public boolean injectInputEvent(InputEvent event, boolean sync) {
…………
// 異步執行,這段代碼之前有關于鎖的操作
return mUiAutomationConnection.injectInputEvent(event, sync);
…………
}
我們發現也是通過一個
connection
來執行操作的,這個
connection
對象對應的
IUiAutomationConnection
類,也屬于一個
aidl
檔案。
這裡也放一個時序圖,
AccessibilityService
AccessibilityService
根據官方說明,是指開發者通過增加類似
contentDescription
的屬性,進而在不修改代碼的情況下,讓殘障人士能夠獲得使用體驗的優化,大家可以打開
AccessibilityService
來試一下,點選區域,可以有語音或者觸摸的提示,幫助殘障人士使用App。
當然,現在國内,
AccessibilityService
已經被玩兒壞了,越來越多的App借用
AccessibilityService
來實作了一些其它功能,甚至是灰色産品。
在國内,通過
AccessibilityService
實作的功能包括免Root自動安裝,自動搶紅包,微信消息自動回複等等黑科技。
當然也有一些惡意功能,比如軟體防解除安裝。當使用者想要解除安裝你的App的時候,一般會來到設定界面,找到你的App然後選擇解除安裝,那麼如果我們監控這個頁面,如果發現是自己的App,就直接退出,這樣不就無法解除安裝了嗎?是的,簡簡單單,但是背後的惡意卻讓人心寒。
結語
大家經常說“面試造火箭,工作擰螺絲”。其實大家平時工作可能都是“擰擰螺絲”,但是站在個人職業發展角度來看,是不可取的。隻有不斷挖深自己的技術護城河,才能提高個人的不可替代性。在“擰螺絲”的時候,我們不妨擡頭看看,整個“火箭”是構造。
參考
https://juejin.cn/post/6844903456809943053
https://developer.android.com/reference/android/app/UiAutomation
https://testerhome.com/topics/1887
https://blog.csdn.net/luoyanglizi/article/details/51980630
https://www.kancloud.cn/digest/uiautomatorpriciple/192698