天天看點

從Android手機的搶紅包插件說起

前語

最近,Android手機上的手機管家更新了新版本,提供了紅包鬧鐘功能,隻要有微信紅包或者QQ紅包,就會自動提醒。恰逢最近又在做UI自動化的工作,使用到UI Automator架構。幾行代碼,就可以讓手機自動完成某些操作,很有意思,今天就來扒一扒這背後的原理。

UI Automator

首先,官方文檔鎮樓:https://developer.android.com/training/testing/ui-automator

傳統的手工測試,我們需要點選一些控件元素,來檢視輸出的結果是否符合預期。比如在登入界面,輸入正确的使用者名和密碼,點選登入按鈕後,就可以正常登入。

如果這些操作,每一次都需要手工執行的話,是需要大量的人力成本的,比如手機QQ安卓端, 手工用例有上萬條。是以就需要大力推廣自動化測試。

UI自動化作為測試金字塔的最頂層,承擔了端到端的需求回歸與灰階驗證任務,其重要性不言而喻。

從Android手機的搶紅包插件說起

UI Automator

作為一款Google谷歌推出的,用于UI自動化測試的工具,有着優秀的API與社群文檔。也是目前主流的Android自動化測試架構。它提供了一系列用于擷取手機上頁面控件元素和操作元素的方法,非常友善。

注意:

UI Automator

測試架構是基于

instrumentation

的API,運作在

Android JunitRunner

之上,同時

UI Automator Test

隻運作在

Android 4.3(API level 18)

以上版本。

從一次搶紅包說起

想想我們平時搶紅包的流程是什麼樣的呢?

假如你現在正在刷劇,這時候通知欄提醒你微信有紅包了,于是你點選通知欄的消息,進入了微信頁面,找到了紅包,再點選拆紅包的按鈕,小手一抖,幾毛到手。

這麼一想,其實這些步驟完全是一個體力活,要是有個機器人能自動搶就好了!

這個機器人的背後就是

AccessibilityService

,當然它的具體作用我們稍後再講。

按照我們的現有的邏輯,自動搶紅包大緻分為以下幾個步驟:

  1. 識别擷取通知欄的微信紅包的通知事件
  2. 點選通知欄的消息
  3. 擷取紅包的消息
  4. 點選按鈕拆紅包

這裡面最最重要的兩個步驟就是識别,操作。接下來我們侃侃這兩步。

怎麼識别頁面控件元素?

首先,我們先來認識一下

UI Automator viewer

這個工具,位于

<android-sdk>/tools/bin

目錄下,他可以很友善地掃描和分析 Android 裝置上目前顯示的界面元件,展示一棵完整的控件樹,與某一個葉子節點(控件元素)的屬性。

從Android手機的搶紅包插件說起

從上圖我們可以看到,頁面的一個登入按鈕元素,有自己的text屬性,resource-id屬性,content-desc屬性等等。

在UI Automator中,存在uiDevice類,可以通過findObject方法,檢視到這些控件元素。

UiObject2 login_btn = uiDevice.findObject(By.desc("登入"));
           

現在我們深入

findObject

方法,

public UiObject2 findObject(BySelector selector) {
        // 這裡傳回比對選擇器的第一個節點,如果沒有找到比對的話,就傳回null
        AccessibilityNodeInfo node = ByMatcher.findMatch(this, selector, getWindowRoots());
        return node != null ? new UiObject2(this, selector, node) : null;
    }
           

可以看到,這裡傳入了一個選擇器

selector

,然後在

ByMatcher

findMatch

方法中查詢,如果找到了,就傳回一個

AccessibilityNodeInfo

的node,如果沒有找到就傳回null。

首先看

ByMatcher

是什麼東東?這是一個實用工具類,通過它的方法,我們可以在一個樹形結構中搜尋到比對selector的節點。

findMatch

方法很簡單,就是一個從根節點開始搜尋的樹型搜尋方法,不用多說。

AccessibilityNodeInfo

是什麼呢?這相當于一個節點,在

AccessibilityService

的角度來看,這就是一個可通路到的控件節點。

那這麼來看,

findMatch

的第三個參數,就是傳入的控件樹的根節點了嗎?我們深入看一下這裡的

getWindowRoots

方法的關鍵代碼,

/** 這裡傳回活動視窗容器的root節點的清單 */
    AccessibilityNodeInfo[] getWindowRoots() {
        // 等待線程空閑後再執行
        waitForIdle();
        // 初始化一個root節點的集合
        Set<AccessibilityNodeInfo> roots = new HashSet();

        // 通過UiAutomation擷取目前最底部的根視窗容器的root節點
        AccessibilityNodeInfo activeRoot = getUiAutomation().getRootInActiveWindow();  // 這裡使用UiAutomation的方法
        if (activeRoot != null) {
            roots.add(activeRoot);
        }

        // 多視窗容器的搜尋
        if (UiDevice.API_LEVEL_ACTUAL >= Build.VERSION_CODES.LOLLIPOP) {
            for (AccessibilityWindowInfo window : getUiAutomation().getWindows()) { // 這裡使用UiAutomation的方法
                AccessibilityNodeInfo root = window.getRoot();
                …………
                roots.add(root);
            }
        }
        return roots.toArray(new AccessibilityNodeInfo[roots.size()]);
    }
           

這裡要提一下, UiAutomation是Google在Android4.3的時候,釋出的一個自動化架構,它提供了與系統底層互動的能力。

再往下,我們看看

UiAutomation

getWindows

方法的關鍵代碼:

public List<AccessibilityWindowInfo> getWindows() {
      ……
        return AccessibilityInteractionClient.getInstance()
                .getWindows(connectionId);
    }
           

這裡擷取了

AccessibilityInteractionClient

的執行個體,然後傳回了client的

getWindows

方法結果。然後再看一下這個

getWindows

方法的關鍵代碼,

public List<AccessibilityWindowInfo> getWindows(int connectionId) {
            ……
            IAccessibilityServiceConnection connection = getConnection(connectionId);
            if (connection != null) {
                // 首先去查詢緩存,如果緩存是有的,直接傳回
                List<AccessibilityWindowInfo> windows = sAccessibilityCache.getWindows();
                   ……
                    return windows;
                }
                ……
                 // 如果上面的緩存不存在,就調用connection.getWindows方法
                 windows = connection.getWindows();
                 ……
                if (windows != null) {
                    // 把上面擷取到的新的windows放置緩存,并傳回
                    sAccessibilityCache.setWindows(windows);
                    return windows;
                }
            } 
             ……
    }
           

IAccessibilityServiceConnection

開始,在IDE中就開始提示

Cannot resolve symbol 'IAccessibilityServiceConnection'

,無法再跳轉追蹤了。這是因為這個檔案屬于aidl檔案,這是Android中用于跨程序通信的接口檔案,其具體源碼可以在

GoogleSource

上面看到,有興趣的同學可以去看一下:IAccessibilityServiceConnection.aidl。 這說明,到這裡,

UI Automation

程序開始了與

AccessibilityService

程序的通信。我們把目前的程式可以當做是用戶端,那麼Android系統服務就是服務端,從這裡開始,真正深入到Android系統的核心。在下面,就是Android Native的Library庫。

這裡,我們可以用時序圖總結一下:

從Android手機的搶紅包插件說起

怎麼操作頁面頁面元素?

我們現在已經知道了

UI Automator

是怎麼識别控件的,那怎麼操作控件元素呢?比如實作控件的自動點選。

我們還是從源碼開始入手。比如一個控件元素的點選動作,在

UiObject2

類中,關鍵代碼如下:

public void click() {
        mGestureController.performGesture(mGestures.click(getVisibleCenter()));
    }
           

首先,

getVisibleCenter

方法可以根據控件節點資訊,也就是上面提到的

AccessibilityNodeInfo

,擷取到這個控件節點的中心坐标點。然後把這個坐标點傳給

mGesture

click

方法,這裡是為了封裝點選動作,最後交給

mGestureController

對象的

performGesture

方法去實施這個點選動作。

對于

mGesture

click

方法,這個

mGesture

是一個構造工廠,它的

click

方法直接生成了一個

PointerGesture

對象,這個對象表示的是執行手勢操作時的動作。比如手勢的開始坐标點,結束坐标點,持續時間,移動方向,速度等等。

重點看一下

mGestureController

對象的

performGesture

方法,其關鍵代碼如下:

public void performGesture(PointerGesture ... gestures) {
          …………
         // 執行傳入的手勢操作動作
        MotionEvent event;   // 這個是關于運動事件
        for (……) {
                 …………
               // 初始化運動事件,并調用UI Automation的injectInputEvent注入事件,異步執行
                event = getMotionEvent(……);
                getDevice().getUiAutomation().injectInputEvent(event, true);
                …………
            }
          …………
        }
}
           

這裡可以看到事件的注入,也是通過

UI Automation

來完成的。看一下

injectInputEvent

方法的關鍵代碼,

public boolean injectInputEvent(InputEvent event, boolean sync) {
        …………
        // 異步執行,這段代碼之前有關于鎖的操作
        return mUiAutomationConnection.injectInputEvent(event, sync);
        …………
    }
           

我們發現也是通過一個

connection

來執行操作的,這個

connection

對象對應的

IUiAutomationConnection

類,也屬于一個

aidl

檔案。

這裡也放一個時序圖,

從Android手機的搶紅包插件說起

AccessibilityService

AccessibilityService

根據官方說明,是指開發者通過增加類似

contentDescription

的屬性,進而在不修改代碼的情況下,讓殘障人士能夠獲得使用體驗的優化,大家可以打開

AccessibilityService

來試一下,點選區域,可以有語音或者觸摸的提示,幫助殘障人士使用App。

當然,現在國内,

AccessibilityService

已經被玩兒壞了,越來越多的App借用

AccessibilityService

來實作了一些其它功能,甚至是灰色産品。

在國内,通過

AccessibilityService

實作的功能包括免Root自動安裝,自動搶紅包,微信消息自動回複等等黑科技。

當然也有一些惡意功能,比如軟體防解除安裝。當使用者想要解除安裝你的App的時候,一般會來到設定界面,找到你的App然後選擇解除安裝,那麼如果我們監控這個頁面,如果發現是自己的App,就直接退出,這樣不就無法解除安裝了嗎?是的,簡簡單單,但是背後的惡意卻讓人心寒。

結語

大家經常說“面試造火箭,工作擰螺絲”。其實大家平時工作可能都是“擰擰螺絲”,但是站在個人職業發展角度來看,是不可取的。隻有不斷挖深自己的技術護城河,才能提高個人的不可替代性。在“擰螺絲”的時候,我們不妨擡頭看看,整個“火箭”是構造。

從Android手機的搶紅包插件說起

參考

https://juejin.cn/post/6844903456809943053

https://developer.android.com/reference/android/app/UiAutomation

https://testerhome.com/topics/1887

https://blog.csdn.net/luoyanglizi/article/details/51980630

https://www.kancloud.cn/digest/uiautomatorpriciple/192698

從Android手機的搶紅包插件說起