2018 年，随着國外 RPA 廠商的崛起，投資者看到 RPA 與 AI 結合的巨大潛力，RPA 賽道迅速成為投資熱點，中國也湧現出一批 RPA 創業公司，投資者、創業者紛紛入局。四年過去了，中國市場的 RPA 産品與 AI 技術結合的效果究竟如何？AI 技術對 RPA 産品更新換代有何貢獻？機器之心聯合多名業内資深技術專家共同完成業内 RPA 産品的首次深度評測。
RPA，全稱機器人流程自動化技術。該技術可按照事先設定的流程，控制計算機完成滑鼠點選、資料處理、跨軟體操作等任務，已廣泛應用于金融、電商、營運商、政務、物流、制造等衆多行業領域，在财務、稅務、人力、内審、法務、風控、客服、營運、IT 等勞動密集型場景取得了非常好的降本增效成果。據 IDC（國際資料公司）統計預測，2018-2023 年全球 RPA 市場規模将持續上漲， 2023 年達到 39 億美元。而中國 RPA 市場規模則将以 64% 的年複合增長率擴張至 10.2 億美元。
随着以深度學習為代表的新一輪 AI 技術更新并在越來越多領域内取得突破，RPA 通過結合自然語言處理、計算機視覺（cv) 等智能算法，在執行任務的複雜度、覆寫應用場景的廣度也相應提升。
業内普遍認為，随着 AI 以及 SaaS 平台、大資料、物聯網等技術的進一步發展，RPA 将從獨立實作轉向更廣泛的嵌入數字流程模型。RPA+AI 的智能流程自動化被認為在下一個階段将取代傳統的業務流程外包，成為新型的業務流程外包形式。
2018 年，随着國外 RPA 廠商的崛起，投資者看到 RPA 與 AI 結合的巨大潛力，RPA 賽道迅速成為投資熱點，中國也湧現出一批 RPA 創業公司，投資者、創業者紛紛入局。四年過去了，中國市場的 RPA 産品與 AI 技術結合的效果究竟如何？AI 技術對 RPA 産品更新換代有何貢獻？
通過與衆多業内專家的訪談及各行業 RPA 使用者的深入交流，機器之心了解到，衡量一款 RPA 産品不可或缺的核心能力，主要通過元素拾取（控制軟體的能力）、穩定性、執行效率等。這是客戶真正關注、看重并願意為之付費的判斷準則。
然而我們發現，大部分廠商對自身産品與 AI 融合的效果描述主要圍繞 “AI 概念” 元件數量、“支援場景”數量等相對表面的次元，缺少 AI 技術對 RPA 産品核心三要素的影響情況陳述。這樣的描述沒有嚴格的資料支撐，亦無法解答機器之心項目組試圖探索的靈魂問題 ——
RPA 廠商在采用 AI 技術後，其産品的核心能力是否得到了提升？
在尋找問題答案的過程中，機器之心項目組與實在智能的技術團隊就目前遇到的障礙進行了深度交流後，決定邀請實在智能技術團隊的技術專家幫助機器之心項目組對當下主流 RPA 廠商的社群版産品完成一次基于實測實驗的研究，探索 RPA 産品在采用 AI 技術後其界面控制力、執行效率、穩定性等傳統核心能力次元提升的情況，并結合測試結果形成《中國市場 RPA 産品 AI 技術融合情況測試報告》。
評測小組通過專家訪談，行業追蹤等方法，彙總多方回報，圍繞界面控制要 “準”、流程執行效率要 “強”、任務遂行能力要 “快”、 這三個最能展現 RPA 産品服務客戶的價值目标，得到以下評價方案，并基于該方案進一步設計了一套基于 RPA 使用者使用需求的 18 個常見軟體，10 個常見業務流程的測試方案，并在 windows10 系統環境下進行了首輪測試。
圖：3 個評價次元
篩選評測對象
基于目前市場公開管道中開放社群版本的 RPA 産品。我們取同一時期的軟體版本，下載下傳安裝了五家主流廠商官網提供的社群版 RPA，曆時月餘，開發了相應的流程評測腳本（注：由于有些廠商未開放社群版或中途取消了試用功能，未加入最終評測）。
為公平起見，評測小組從軟體庫中篩選出最常用 100 款 windows 辦公軟體，随機抽取其中 18 款作為測試目标，針對所有廠商實作了一套包含近 700 個元素的識别控制、10 種常見業務流程任務的測試方案，在相同的 win10 系統環境下開展首輪測試。
表：18 個常見軟體及運作環境
表：10 個常見業務流程及運作環境
計算名額權重
名額權重是指某一因素或名額相對于事物的重要程度。我們重點關注評價名額 “元素拾取成功率”、“流程執行完成率”、“流程運作速度” 對 RPA 産品的影響。采用定性方法進行名額權重指派，往往說服力較差。基于定量和定性角度出發，評測小組采用層次分析法進行名額權重的計算。該方法作為網絡系統理論和多目标綜合評價方法，主要應對一些較為複雜模糊的問題作出決策，特别适用于那些難以完全定量分析的問題。基本操作流程：首先建立結構模型（如下圖所示），然後構造判斷矩陣，對判斷矩陣進行一緻性檢驗，最終确定各個名額對 RPA 産品的權重 w1、w2、w3。
評測小組基于層次分析法，構造判斷矩陣并通過一緻性檢驗，求解出三個核心名額的權重分别為 w1=0.431，w2=0.325，w3=0.244。
評測過程及結果
評測小組在相同控制變量（運作環境、軟體界面、流程任務、拾取方式等）下，進行兩種模式的對比實驗，即傳統模式（或稱普通模式）和智能模式。傳統模式，指完全采用普通元素拾取的方式進行流程編輯和運作；智能模式，指在普通元素拾取基礎上融入 CV 技術的智能拾取方式。
本次實驗運作流程腳本總計 10 萬餘次，詳細記錄流程運作日志并儲存到資料庫。在剔除因運作環境、外界幹擾等造成的異常資料後，對 5 家廠商的社群版 RPA 産品，基于三個次元所設定的統一名額進行資料分析。具體分析方法及相應結論如下 ——
一、界面控制能力
方法
通過名額 “元素拾取成功率” 評價“界面控制能力”。參與拾取元素測試圖示 684 個；對傳統模式下的元素拾取和融入 CV 技術後的拾取方式進行分别測試；人工進行元素拾取後儲存元素庫；開發拾取流程包，執行元素點選流程，記錄是否成功、運作時間、系統參數等日志并存入資料庫，剔除異常資料。元素拾取成功率評分 = 拾取元素成功個數 / 總元素個數 * 100，計算該項得分。
考慮不同環境下各廠商産品存在設計元件的差異，在評測時，采用完全相同的流程包設計架構且設定相同的延時時間。
得分
特别說明：測評過程中，單項及綜合得分排名第一的産品為實在 PRA。經項目組與廠商确認，對方同意在報告中具名。報告中涉及的其他産品僅收錄測試資料，名稱暫時隐去。
結論
在被測軟體領域随機的模式下，各廠商的傳統模式拾取能力得分普遍不高，AI 能力對元素拾取提升貢獻突出。
解析
在被測軟體領域随機的模式下，各廠商的傳統模式拾取能力普遍不高，海外廠商受影響更大，顯然主要通過 windows 底層能力實作拾取的廠商在跨領域軟體控制上受到了很大的限制。
傳統拾取模式下，若某款軟體底層架構無法解析，其元素即無法拾取，是以也無法完成最基礎的元件功能。
智能模式下，拾取效果顯著提升（平均提升近一倍），說明傳統 RPA 廠商和具備 AI 能力的廠商在這一項上的差異巨大！評測小組在測試過程中發現，雖然智能模式對 RPA 産品的拾取能力提升巨大，但是在細粒度小目标的精準識别上，如在拾取百度網盤、企微、千牛等軟體元素時，偶有發生黏連、識别不到的情況，也有元素框選取不夠準确的現象，顯示各 RPA 廠商在 AI 能力上也有顯著差異，本項測試評分最高的是實在智能的實在 PRA，在小目辨別别的準确度、識别速度和使用便捷性上都讓人感覺眼前一亮，該産品的拾取将 CV 識别和普通識别進行整合，直接在 CPU 環境中運作，可以自動切換模式，對使用者無感，預設智能拾取方式，同時也提供了普通拾取模式，這大大減少了評測小組建構測試流程包需要在普通模式和 CV 模式之間來回切換建構流程的時間，也讓小編少受了不少折磨。
作為 RPA 産品的核心能力，主流 RPA 産品元素拾取能力，通過結合 CV 算法，一定程度上彌補了軟體品類的限制，基本都達到商業可用的程度，展現了 AI 技術特别是底層模型建構和服務能力對 RPA 産品的重要貢獻。随着 AI 技術的不斷發展以及在 RPA 産品上的應用，未來 RPA 産品的核心競争力，AI 能力必然是重要因素。
二、任務完成能力
通過名額 “流程執行完成率” 評價“任務完成能力”。無報錯運作一個任務流程包至結束視為成功一次，統計成功次數占比，資料歸一化轉為百分制，計算該項得分。由于不同廠商産品存在設計元件的差異，評測時采用完全相同的流程包設計架構，保持拾取方式一緻，且設定相同的延時時間。
（1）設計 10 個場景任務流程包；對于完全采用傳統拾取模式可執行的任務，單獨統計。
（2）間歇性循環執行流程包任務将是否成功、運作時間、系統參數等存入資料庫。
（3）評分公式：完成率 x = 成功運作流程數 / 流程運作總數，歸一化采用最簡潔的離差标準化即線性變換，映射至區間[80, 100]，分值映射公式為：y=80+(x-min)/(max-min)*20，其中 min=0.68，max=1.00，為歸一化後資料邊界最值，截取兩位小數。由于傳統拾取模式下隻能完成全部流程任務的 70%，為保證評分客觀性，傳統模式下采用完成率 x 乘以系數 0.7 的方式計算。
傳統模式下，各廠商的任務完成能力無顯著差異，且各廠商的任務完成能力普遍不高，但是智能模式與傳統模式相比對任務完成能力提升明顯。
本評測子產品，重點考察同環境下設定任務的完成能力。傳統的拾取模式限制下，各家産品都存在一定的軟體局限，某款軟體元素不能識别，會直接導緻流程無法操作，任務場景受限，失敗率較高。
智能模式的 RPA 産品流程包，在無幹擾 windows 系統環境下表現出色，任務完成能力評分均超過 98 分，平均提升 23.1%。本項穩定性測試表明，E 廠作為老牌海外 RPA 廠商，其産品運作流程非常穩健。值得指出的是，本項名額看上去差異不大，但是在流程運作的絕對數量大幅提升和部署機器人數量巨大的情況下，各個廠商的服務和維護成本會展現出來巨大的差異。
任務完成能力，是客戶對産品的最基本要求，也是機器人産品能力的核心展現之一。一方面，由于服務成本、流程失敗等對客戶影響較大，直接影響客戶的采購和續費，從本項測試可見融入 AI 技術, 以及通過各種智能化手段提升 RPA 機器人運作的任務完成能力和穩定性是必然趨勢，也對 RPA 廠商的 AI 能力提出更高要求。
本次評測采用幹淨完善無幹擾的良好系統環境，得出的結果令人滿意，大部分廠商表現良好，但在複雜噪音多系統下的任務遂行能力，還需進一步深度測試。
三、軟體運作效率
通過名額 “流程運作速度” 評價 “軟體運作效率”。取前項實驗資料，在流程包運作成功的前提下，統計單一流程包效率，累加後，經資料歸一化轉為百分制，計算該項得分。對每個産品，設第 i 個流程包用時 t_i 秒，成功數量 m_i 次，其運作效率值為 x=∑_(i=1)^10m_i/t_i 。歸一化仍采用線性變換，映射至區間[80, 100] 分值，分值映射公式為：y=80+(x-min)/(max-min)*20，其中 max = 0.07，min = 0.04 為歸一化後資料邊界最值，截取兩位小數。
流程包在智能模式下運作，流程執行效率均略有下降。
傳統模式下流程運作，各家表現中規中矩；出現差異的重要原因在于智能模式下元素拾取的流程耗時差異。智能拾取的接入，對流程運作速度産生了一定影響，有平均 8% 的下降幅度。
不過我們在本次評測報告撰稿期間，發現實在智能釋出了 6.0.0 最新版本，其中的融合拾取，體驗下來拾取速度提升達 100%，其速度接近原生拾取，很遺憾由于評測工作量過于巨大及采樣時間已經确定，新的版本不能加入本次評測，實在 PRA 在本項評測的表現依然可圈可點。
RPA 的目标是輔助人類完成重複性勞動，未來的發展方向也必然是眼（拾取）手（執行）協調的進化。降本增效的剛需下必然對 RPA 機器人的執行速度有更高的要求，能用更少的機器人完成相同的工作，這直接關系到使用者的成本。開發者對産品互動的反應速度要求，客戶對執行速度的需求，使得輕量化 AI 模型成為大勢所趨。使用者普遍對更高效快捷的 RPA 産品充滿期待。
四、綜合能力評價
上述三個核心名額權重求和，權重來源于前述層次分析法。
AI 技術加持，使得 RPA 軟體在拾取精度、拾取能力、穩定性上有明顯的提升，AI 自研能力強的廠商更占優勢。
通過三大核心名額直覺比較，雖然融入智能技術導緻流程的執行效率略有降低，但由于其他兩個名額的大幅提升，總體 RPA 軟體在工業場景上應用的可行性得到顯著提升。相比傳統模式的 RPA 産品，智能模式下綜合評分平均提高近 23 分。從任務完成度 70% 這個資料看，任務場景的嚴苛限制，已經使得客戶無法接受單純傳統模式的 RPA 産品。
從訪談回報、操作體驗、評測資料細節等綜合來看，各家産品在功能、體驗、面向客戶等方面均有不同的特征展現，但在三大核心次元評測資料上，實在智能的實在 RPA 表現出衆，由此我們認為 AI 實力雄厚且勇于創新的頭部廠商更具商業化競争力和産業化持久力，其“開創性的融合拾取技術、輕量化算法模型、加持 AI 能力的産品體驗”，是本次評測獨占鳌頭的主要原因。當然，本測試為展現公平性及考察 RPA 軟體的普适能力，采用随機選取軟體的方式，可能會對部分專注某些領域内的 RPA 廠商的評測效果有所影響，比如海外廠商 E 廠的原生拾取由于受到部分國産軟體無法拾取的影響，在普通拾取方面表現一般。
表：評測資料總表
本次評測結果令人欣喜。從評測結果可見，AI 與 RPA 技術的 “融合” 效果得到顯著的展現，這與外界普遍認為的 AI+RPA 不同，二者産生了顯性的化學反應。經專家分析，本次評測中實在 RPA 表現出衆，優勢在于強大的 AI 能力和技術創新，其首次提出并實作的融合拾取技術值得肯定。我們認為 AI 在 RPA 領域内的應用已經看到明顯效果，并且未來會在衆多垂直行業産生深刻的改變。
通過評測我們看到，軟體的界面控制能力是甄别 RPA 産品最重要的評價名額，也是各 RPA 廠商比拼的核心要素之一，傳統 RPA 産品通過底層技術（windows 底層控制 com）的方式識别和控制軟體可操作的元素，受軟體版本、技術組合、作業系統版本、系統接口差異等衆多因素影響，拾取能力面臨幾乎無窮盡的問題需要解決，這明顯是 RPA 行業的天花闆之一。AI 技術的融入為 RPA 拓寬能力邊界，為使用者創造了 “凡是元素皆可拾取、沒有軟體不能操作” 的美好願景。
欣喜同時，我們更有理由展望，RPA 與 AI 技術深度融合，向 IPA 發展是必然趨勢，也是産業發展的良好方向。相信不久的将來，業内這些具有強大 AI 技術和創新能力的 RPA 廠商，會給我們帶來更多更大的驚喜。
下一步工作
目前主流 RPA 産品都有較快的版本疊代，個别廠商甚至達到每周一次小疊代，每月一次大疊代的快速步伐，産品功能、體驗、創新上都有大幅度甚至煥然一新的提升；評測小組選取的是同時期各家廠商社群版産品進行評測，考慮到流程包相容性、運作環境更替等，本次評測未進行版本更換。
未來，評測小組将繼續跟進主流 RPA 産品的更新疊代，通過深入調研管道客戶、社群開發者、相關廠商等，增進了解客戶的真實需求，對核心次元進行拓展性的專項深度評測，例如針對複雜極端多樣環境、專業小衆軟體操作、新舊版本、更多場景任務等的能力評價。
此外，評測小組也在進一步籌備評測流程包及測試資料集的開源、開放事宜。作為 RPA 産品的首次深度評測，希望起到抛磚引玉的作用，在此，我們也邀請更多業内人士參與進來，建構并開放 AI 能力測試資料集， 推動 RPA 廠商包括社群愛好者參與到 AI 能力打榜，充分發揮 AI 技術貢獻，共同推動 AI 能力與 RPA 産品融合，促進 RPA 産業在良性競争中健康發展。
評測結論僅代表本次評測環境下的結果展現。
緻謝：
本次調研由實在智能提供技術支援和咨詢，特此緻謝。