摘要：近期，由于人工智能（AI）和機器學習，尤其是深度學習的進步，可解釋人工智能（XAI）研究領域受到了廣泛的關注。XAI這一研究領域的重點在于確定AI系統的推理和決策可被人類使用者了解。在軍事領域，可解釋性通常要保證以下幾點：人類使用者運作的AI系統擁有恰當的心理模型；專家可從AI系統及其隐性戰術和戰略行為中獲得見解和知識；AI系統遵循國際和國家法律；開發者能夠在部署前确定AI系統的缺陷或錯誤。本文依據瑞典國防研究所報告《探索軍事深度學習應用程式中的可解釋人工智能技術》認為，這類AI系統由于模組化過程過于複雜，無法使用其他可解釋的替代方案，是以本質上難以了解。盡管深度學習的XAI領域仍處于發展初期，但已出現不少解釋技術。目前的XAI技術主要用于開發用途，如确定錯誤等。不過，如果這些技術可為使用者使用的AI系統打造合适的心理模型、進行戰術開發并確定未來軍事AI系統遵循國家和國際法律，那麼就應對其進行更多的研究。本文将依據該報告，介紹XAI技術及其在軍事中的應用。
關鍵詞：人工智能，可解釋人工智能，深度學習
當今人工智能（AI）成功的主要原因是機器學習（ML）的突破，更确切的說，是深度學習（DL）的突破。深度學習是一項具有颠覆性潛力的技術，人們使用深度神經網絡可實作傳統技術無法完成的複雜模組化。如，深度學習可以用于準确的轉寫（言語到文本）、翻譯（文本到文本）、進行即時戰略遊戲（影像到動作）、讀唇語（影像到文本）、面部識别（圖檔到識别）以及控制自動駕駛車輛（影像到行動）等。
然而，由于深度學習仍處于發展初期，且不存在能夠保證模型準确性的數學架構，是以，在開發、部署、運用和維護軍用神經網絡模型時，勢必會遇到很多挑戰和問題，需要人們不斷思考并找出解決方案。
在作戰人員、資料分析師等軍事人員看來，最大的挑戰或許在于可解釋性。根據經驗，如果行動會影響到人類生活，則對可解釋性的需求将大大提高。可解釋性之是以重要，是因為它會影響使用者對系統的信任和依賴。信任關系必須保持一定的平衡，信任程度過高會導緻對系統的誤用，信任程度過低，則系統無法發揮作用。歸根結底，解釋旨在幫助使用者為系統建立合适的心理模型，以保證系統得到有效的利用。
深度學習有提升戰鬥機、潛艇、無人機、衛星監視系統等複雜軍事系統的自主性的潛力，但它也可能使這些系統變得更加複雜、更加難以解釋。主要原因在于，深度學習是“端到端”的機器學習技術，即機器通過學習從輸入資料中提取最重要的特征進而獲得高性能。這一過程差別于人工通過直覺提取特征的傳統技術，被稱作表征學習。表征學習常常能夠帶來高性能，但它同樣要求模型具有高度表達力和非線性特征。是以，使用深度學習訓練而成的深度神經網絡可能包含數百萬甚至數十億個參數，就算人們已經對算法、模型架構、訓練資料等有了深入的了解，也難以解釋這些模型。
美國國防部先進研究計劃局（DARPA）于2016年啟動了可解釋人工智能（XAI）項目，項目旨在：一、生成可解釋性更高的模型，同時維持高水準的學習性能（預測準确度）；二、使人類使用者能夠了解、适度信任和有效管理新一代AI工具。該項目啟動後，取得了多項技術進步。一些XAI技術已被打包到軟體庫并進行運作。軍事人員可利用這些軟體庫來深入了解深度神經網絡，同時消除其錯誤并對其進行校驗。這一步在大方向上沒有錯，但從軍事角度出發，為軍事使用者量身定制XAI技術和工具同樣關鍵，這要求其具備高解釋水準。
XAI技術
在任何會對人類生活産生影響的軍用高風險決策AI系統中，XAI都是一個關鍵組成部分。以關注短期決策的戰術級AI應用為例，這類AI的功能包括對無人車輛的自主要制以及武器和監視系統的目辨別别、跟蹤和打擊能力。在戰争的作戰和戰略層面，XAI也同樣重要，而這一層面的長期決策和規劃活動可能會影響全人類。在作戰和戰略層，AI系統通常被用于資訊分析，同時也會通過模拟來提出計劃或行動方案。XAI在軍事系統中的主要作用包括：
- 心理模型：XAI可支援使用者為AI系統建立合适的心理模型。無論軍事系統是否啟用了AI，使用者都必須對系統的運作邊界有清晰的認識，以保證對系統合理有效的使用。
- 見解：深度神經網絡可用于擷取知識和識别複雜程式中人類未知的模型。通過使用XAI技術，人們可以發現并學習這些知識。使用強化學習開發戰術和戰略就是對XAI的一次典型運用。開發過程中，XAI可能會生成對軍事領域更深刻的見解。
- 法律法規：XAI可用于確定AI系統遵循國家和國際法律。緻命自主武器系統（LAWS）可能是最有争議的AI應用。有人希望禁止此類應用，也有人認為，隻要LAWS能改進精度并将附帶損傷降至最小，就可以存在。瑞典國防研究所報告認為，在開發用于規定LAWS這類AI系統啟動的時間、地點的規則方面，XAI可發揮重要作用。
- 消除錯誤：文獻中有無數個将XAI用于識别深度神經網絡錯誤的案例。通常情況下，如果圖檔中的版權水印、模拟器虛假資料或非現實的遊戲資料出現在訓練資料中，深度神經網絡就會出現錯誤，在運作測試資料時表現良好，而在運作真實資料時失誤頻頻。如果能夠把XAI技術內建到開發程式中，這類問題就能夠在部署前被檢測和解決。
XAI技術主要有：全局解釋技術，如大型高維資料集的可視化技術、模型評估；局部解釋技術，如梯度顯著性、相關性分數逐層傳播技術、沙普利值附件解釋、局部可了解的與模型無關的解釋、用于解釋黑盒模型的随機輸入采樣；混合解釋技術，如譜相關性分析。
評估XAI技術
XAI領域一個常被忽視但又至關重要的環節是對提出的XAI技術進行評估。本節将從人為因素出發，引入評估标準。人為因素評估中，作戰人員、分析師等使用者是衡量AI系統中XAI效果的核心。本節還将介紹可用于比較局部XAI技術的測試方法。
1.人為因素評估
對XAI技術的人為因素評估将測試各解釋是否考慮了全部重要因素，以便使用者充分利用AI系統。比如，使用者可能有不同的目的、需求、知識、經驗、任務背景、使用案例等。和開發各類系統一樣，在從系統規格到使用者測試的AI系統開發全流程中，将以上因素納入考量十分重要。由于深度學習的XAI技術是一個新興的研究領域，是以該技術的初始使用者通常是對模型性能評估感興趣的系統開發人員。然而，目前還無法确定這些XAI技術是否對軍事使用者有用。《可解釋AI名額：挑戰與前景》一文給出了6個用于評估解釋的名額：
- 解釋優度：在XAI技術開發過程中，從使用者的角度出發，列出一份清單。該清單以解釋方面的現有文獻為基礎，從解釋的7個方面進行評估，如解釋能否幫助使用者了解AI系統的工作方式、解釋能否使使用者滿意、解釋是否足夠詳細和全面等。
- 解釋滿意度：從解釋優度出發，衡量使用者對解釋的體驗的測量量表。該量表包括8個以陳述形式表現的項目（7個優度項目和1個關于解釋是否對使用者目标有用的項目）。一項效度分析顯示，該量表十分可靠，可用于區分解釋的好壞。
- 心理模型引導度：好的解釋可加深使用者對AI系統工作方式和決策原理的了解。在認知心理學中，這被稱為AI系統的使用者心理模型。文章建議用4個任務來衡量人工智能系統的使用者心理模型，如提示回顧任務，即使用者在運用AI系統完成一項任務後，描述其推理過程；又如預測任務，即使用者對AI系統後續的行為做出預測。一項對比了使用者心理模型和專家心理模型的研究顯示了使用者心理模型的完整度。
- 好奇心驅動度：好的解釋可以驅動使用者研究和解決心理模型中存在的知識缺口。文章建議通過要求客戶确定促使其尋求解釋的因素來衡量好奇心驅動度這一名額。可能的驅動因素如AI系統行動的合理性、其他選項被排除的原因、AI系統的運作與預期不符的原因等。
- 解釋信任度：好的心理模型可使使用者對AI系統保持适度的信任并在其運作範圍内進行操作。文章建議使用涵蓋8個項目的測量量表來衡量使用者對AI系統的信任度。這些項目包括使用者對使用系統的信心、系統的可預測性和可靠性等。
- 系統性能：XAI的最終目的是提升系統的整體性能，使其優于未啟用XAI技術時的AI系統。衡量性能的名額包括主要任務目标完成度、使用者對AI系統響應的預測能力、使用者接受度等。
未來将會有更多研究進一步探索如何在評估AI系統的XAI技術時了解這些名額。
2.評估局部解釋技術
模型處理的資料類型不同，則顯著性圖的視覺效果也不同。如，熱圖通常用于處理圖像，而彩色編碼字元和單詞則通常用于處理文本。圖1展現了使用熱圖制作顯著性圖的視覺效果。這一案例使用梯度顯著性（1.b）和相關性分數逐層傳播技術（1.c）來為數字0（1.a）生成熱圖。圖檔中的像素等重要次元用紅、橙、黃等暖色表示，不重要的次元則用暗藍、藍、淺藍等冷色表示。兩種技術顯著的不同點通過高亮次元的位置可得到直覺的展示。本節将繼續介紹用于定量比較和評估局部解釋的技術，以找出能夠給出最準确解釋的技術。
圖1. MNIST圖像及其對應的熱圖；熱圖使用梯度顯著性和相關性分數逐層傳播技術來生成。圖中的重要次元或像素用紅、橙、黃等暖色表示
①删除
在改變或删去輸入的過程中，通過測量模型的準确預測能力可計算出删除名額。需要注意的是，在這種情況下，删去意味着将輸入的值轉換為中性的事物，如圖像背景等。删除過程由XAI技術生成的顯著性圖引導，以便在删除相對不重要的次元中的值前，删除相對更重要次元中的值。在删除過程中，如果解釋較優，則性能快速下降，反之則性能緩慢下降。
圖2使用圖1.b梯度顯著性圖說明了删除過程。圖2.b删除了50個最重要的像素，此時，人們依舊可以輕松地看出該圖展示的是數字0。圖2.f删除了過半的像素（400個像素），此時，人們很難認出圖檔展示的是數字0。
圖2. 從MNIST圖像的删除過程中導出的6張圖檔，這些圖檔分别删除了0、50、100、200、300和400像素
②插入
插入名額是删除的互補方法。圖3用删除過程中使用的MNIST圖像展示了插入過程。圖3.a的全黑圖像為初始輸入，随着越來越多的輸入次元按照顯著性圖的優先順序插入，可以檢測到準确性不斷提高。插入過程中，在輸入中插入的資訊越多，模型預測的準确度應随之提高，也就是說，解釋較優時，準确性提高的速度會更快，反之則更慢。
圖3. 從MNIST圖像的插入過程中導出的6張圖檔，這些圖檔分别插入了0、50、100、200、300、400像素
③評估名額
本報告為示範删除和插入過程，使用了梯度顯著性和相關性分數逐層傳播技術。示範中使用了分類器以及從MINST資料集中随機抽取的100張采樣圖像來評估XAI技術。
圖4和圖5分别展示了插入和删除過程的結果。曲線下面積（AUC）這一測量值可用于對多個XAI技術進行定量比較。在删除過程中，較小的AUC值優于較大的AUC值，而在插入過程中則相反，為較大的AUC值優于較小的AUC值。
從圖4可以看出，相關性分數逐層傳播技術的性能曲線降幅更大，并且在删除過程中收斂到較低的平均機率值。這一點與熱圖一緻，與梯度顯著性的熱圖相比，相關性分數逐層傳播技術的熱圖中暖色更少（見圖1.b和圖1.c），這說明，與梯度顯著性相比，相關性分數逐層傳播技術能夠用更少的特征更快地找到解釋。從圖5中也可以得出同樣的結論。從圖5.b中可以看出，在插入僅幾十個特征後，平均機率急速上升，并在插入約100個特征後達到高性能水準。
圖4. 梯度顯著性和相關性分數逐層傳播技術的删除曲線
圖5. 梯度顯著性和相關性分數逐層傳播技術的插入曲線
結論
深度學習将用于補充和替代軍事系統中的部分功能。事實上，用于從海量圖像資料中自主探測和跟蹤興趣目标的軍用監視系統已經開始評估深度學習技術。與傳統的軟體技術相比，深度學習技術擁有多項優勢，其中最重要的一項優勢是，深度學習可用于傳統軟體技術無法完成的複雜模組化流程。此外，深度學習還可以促進主動學習，通過AI系統與使用者的互動來獲得用于增強作戰系統模型的高品質資料。
然而，這些優勢也在技術和作戰層面帶來了挑戰。報告就重點關注了可解釋性帶來的挑戰。深度學習的劣勢在于，盡管學習算法、模型架構和訓練資料都不算陌生且易于了解，但模型本身的行為卻難以解釋。通常情況下，這一點在音樂推送、廣告推薦等民用應用中不是問題，但在軍事領域，了解和解釋AI系統的行為卻是至關重要。這是因為，無論是在作戰層面，還是在需要軍方上司和政治決策者進行長期決策的戰略層面，AI系統提供的決策和建議都可能會對全人類的生活造成深遠影響。
雖然戰鬥機、潛艇、坦克和指控決策支援工具等複雜軍事系統同樣難以掌握，但建構這些系統的技術本質上是可解釋的，是以這些系統如果出現錯誤，可以通過對整個系統的排查來找出問題并加以解決。然而，這在深度學習領域是難以實作的。現實應用中的深度神經網絡通常由幾百萬甚至幾十億參數組成，即使是模型的制造者也無法系統地解決模型中出現的錯誤。
報告提出了多個用于解決可解釋性挑戰的前沿XAI技術。值得注意的是，盡管本報告在這方面獲得了部分進展，但用于軍用深度學習應用的AI技術依舊處于發展初期。并且，報告提出的這些XAI技術尚未經過軍事環境的檢驗，是以無法保證現有XAI技術能夠賦能高風險軍事AI系統對深度學習的使用。