在科學研究中，從方法論上來講，都應“先見森林，再見樹木”。目前，人工智能學術研究方興未艾，技術迅猛發展，可謂萬木争榮，日新月異。對于AI從業者來說，在廣袤的知識森林中，系統梳理脈絡，才能更好地把握趨勢。為此，我們精選國内外優秀的綜述文章，開辟“綜述專欄”，敬請關注。
arXiv上2021年12月21日上傳的自動駕駛可解釋AI的綜述："Explainable Artificial Intelligence for Autonomous Driving: A Comprehensive Overview and Field Guide for Future Research Directions"，作者來自加拿大Alberta大學和華為研發。
在過去十年中，自動駕駛在研發方面取得了重大的裡程碑。人們有興趣在道路上部署自行操作車輛，這預示着交通系統将更加安全和生态友好。随着計算能力強大的人工智能（AI）技術的興起，自動駕駛車輛可以高精度地感覺環境，做出安全的實時決策，在沒有人為幹預的情況下運作更加可靠。
然而，在目前的技術水準下，自動駕駛汽車中的智能決策通常不為人類所了解，這種缺陷阻礙了這項技術被社會接受。是以，除了做出安全的實時決策外，自動駕駛汽車的AI系統還需要解釋這些決策是如何建構的，以便在多個政府管轄區内符合監管要求。
該研究為開發自動駕駛車輛的可解釋人工智能（XAI）方法提供了全面的資訊。首先，全面概述了目前最先進的自動駕駛汽車行業在可解釋方面存在的差距。然後，展示該領域中可解釋和可解釋閱聽人的分類。第三，提出了一個端到端自動駕駛系統體系結構的架構，并論證了XAI在調試和調控此類系統中的作用。最後，作為未來的研究方向，提供自主駕駛XAI方法的實地指南，提高操作安全性和透明度，公開獲得監管機構、制造商和所有密切參與者的準許。
自動駕駛可解釋的需求源自各種問題和關注點。首先，自動駕駛車輛參與發生的道路事故，是一個基本的實際問題。由于粗心和危險駕駛會直接影響乘客和旁觀者的安全，人們通常需要确認安全運輸系統。此外，對行為或決策來由的了解是人類思維的自然要求。有專家說，“如果使用者不信任模型或預測，他們将不會使用它。”在案例研究中，經驗證明提供可解釋和可察覺的系統可以顯著提高使用者對系統的信任。特别是，如果沒有向參與者提供可靠的解釋，頻繁發生的故障可能會嚴重損害個人和公衆對智能系統的信任。一旦對智能系統的信任被破壞，重新獲得信任可能會是一項艱巨的任務。是以，人類自然希望了解特定場景中汽車的關鍵決策，以建立對汽車的信任。如果汽車智能決策的背後有信任，那麼将進一步支援另一個積極的元件，透明度。一旦提供了透明度，就達到了另一項要求，即可依賴（accountability ），這與該系統的決定和行動是否符合管轄條例和标準有關。最後，這些積極因素促成公平性，對自主系統的決定性行動進行道德分析、支援和因果論證。這些元件及其互相關系可被視為實作自動駕駛車輛獲得大衆認可的基本因素。
根據自動駕駛中使用者的身份和背景知識，可解釋的細節、類型和表達方式各不相同。例如，一個對自動駕駛車輛如何運作缺乏專業知識的使用者，可能會對相關決策/結果的簡單解釋感到滿意。然而，自主系統工程師需要更多資訊的解釋，了解汽車目前的可操作性，并根據需要适當地“調試”現有系統。是以，解釋閱聽人的領域知識和知識特點對于提供恰當的、有充分資訊的和可了解的解釋至關重要。
以下就是一些可解釋性的影響因素：
cause filters
content type
model
system type
interactivity
concrete scope
下面是自動駕駛各個子產品的可解釋性方法：
01
感覺
正如準确感覺環境是自主駕駛的基本要求一樣，提供自主行動決策的基本解釋對于了解場景導航和駕駛行為也至關重要，特别是在關鍵場景中。是以，在自動駕駛車輛的感覺任務中需要提供可解釋性方法。
一些研究用視覺注意的檢討（introspective ）文本描述尋求因果（post-hoc）解釋，一些研究把解釋作為涉及因果推理的人類行為描述，另一些研究将重點放在目标誘導（object-induced）的行為決策。
另一種基于感覺的解釋生成方法是了解卷積神經網絡（CNN）的結果。這種方法背後的主要思想是測量和顯示從神經網絡輸出層反向傳播（BP）到輸入層的梯度。基于梯度的解釋方法示例包括Class Activation Map（CAM），其增強變型，如 Guided Grad-CAM、Grad-CAM、Grad-CAM++、Smooth Grad CAM++，以及基于反向傳播的方法，如引導（guided）反向傳播、分層相關（layered relevance ）傳播，VisualBackProp和DeepLift。此外，基于啟發式的Deep Visual Explanations（DVE）為深度CNN的預測提供了合理的理由。基于計算機視覺的可解釋自動駕駛系統綜述，見valeo公司的文章“Explainability of vision-based autonomous driving systems: Review and challenges”。
02
定位
由于自動車輛的實時決策需要準确地感覺道路位置，是以了解如何從不同導航系統和傳感器擷取車輛位置也至關重要。這就是定位還需要解釋性的原因。需要了解自動駕駛車輛的誘發位置，特别是當來自GPS或其他傳感器的信号不精确時候。這種不可靠的通信通道可能是以迫使自動駕駛汽車做出錯誤的高風險決策。是以，調試導航系統和相關傳感器，有助于阻止不準确的信号，并為自動駕駛汽車的縱向-橫向正确定位提供可靠的通信管道。
03
規劃
規劃決策的可解釋性綜述見論文”The emerging landscape of explainable automated planning & decision making“，來自IBM和Arizona州立大學。
之前的一個Explainable AI Planning (XAIP) 研讨會，其議程特别說到”雖然XAI主要關注基于黑盒學習的方法，但基于模型的方法非常适合——可以說更适合——作為可解釋性，XAIP可以幫助使用者在複雜決策過程與AI技術互動，發揮重要作用。“
摘自該綜述，其可解釋性方法如下分類：
基于算法 Algorithm-based explanations
基于模型 Model-Based Explanations
推理調和 Inference Reconciliation
模型調和 Model Reconciliation （user mental model）
基于規劃 Plan-based explanations
可解釋性的性質包括：
Social
Contrastive
Selective
Local
Global
Abstraction
User Study
04
控制
由于車輛控制最終反映了駕駛系統的進階決策，使用者可能需要及時解釋實時自動行動選擇的基本原理。這一需求将可解釋性的本質引入到自動化車輛的控制系統中。車内界面、儀表闆和其他使用者友好功能，可幫助使用者提出“為什麼”問題（例如，“為什麼停在右側？”），或對比問題（例如，“為什麼選擇這條路線而不是另一條路線？”），反事實（counterfactual ）問題（例如，“如果選擇了該路線而不是目前路線，怎麼辦？”）和描述性問題（例如，“十分鐘後會在哪裡？”）。
另外，作者提出一個XAI架構，內建了自主要制、可解釋性和法規遵從性。如圖所示：包括可調節的自動駕駛三個組成部分，一個端到端自動控制系統元件（eeC，把感覺的環境映射到車輛的動作），一個安全法規遵從性元件（srC，代表監管機構職能，主要職責之一是驗證eeC與自動車輛動作任意組合的安全性。主要通過軟體模拟仿真和實際駕駛驗證），和一個XAI元件（XAI指導的自主駕駛應該在最高層反映出一種學習到的軟體體系結構和監管原則）。
自動駕駛XAI，就是定義為AI驅動方法的概要（compendium）：1）確定車輛實時決策的可接受安全，2）提供關鍵交通場景中動作決策的可解釋性和透明度，以及3）遵守監管機構制定的所有交通規則。
最後，作者提出一個現場指導：引導XAI追随自動駕駛的目标，其包括以下四部分
可解釋的視覺（包括因果解釋和基于計算的并發解釋）
描述自然語言的曆史以及所采取的每個相關行動，有助于給關鍵交通場景提供可靠的因果解釋。另外，基于生成可解釋模型的并發解釋可大大有助于事故預防。比如：假設自動駕駛車輛有車内人員（即後補駕駛員或乘客）；車輛提供一個緊急使用的控制（即停止）按鈕；車内界面顯示前方沒有人橫穿道路并繼續行駛；但是前面發現有一個人在路上（即視覺系統故障）；然後，車内人員及時發現這種異常情況，使用緊急按鈕減速和/或停車，防止事故發生。這個簡單的例子表明，并發解釋的概念在自動駕駛中具有潛在的用途，并為車輛的安全導航提供了機會。
基于強化學習（RL）的可解釋狀态-動作映射（自動駕駛基于MDP的軌迹串行決策）
如圖是基于模型和無模型這兩種RL在可解釋性方面的比較：除了模仿學習，這兩種RL的比較可以看到，基于模型RL的優點是，智體首先學習環境的模型，并根據環境的動态性調整其學習政策。這種有針對性的探索（exploration ）通常被稱為規劃，從本質上說可以解釋學習過程。
RL中的規劃思想對于正确決策至關重要，以Dyna體系結構為例：Dyna及其變型，即線性Dyna體系結構，與世界互動學習最優政策的同時，也學習世界模型。Dyna的規劃過程從最初提供的假想（imaginary ）狀态建立預測的未來軌迹。基于這種結構，模型投影生成最優行為，同時生成預測狀态和預測獎勵。最後兩個元件可以被可視化和分析，作為解釋的基礎，幫助了解為什麼智體喜歡在特定的時刻選擇特定的動作。由于自動駕駛的每個（關鍵）動作可能需要直覺的解釋，是以，Dyna體系結構和基于模型的RL，通常可以通過其可解釋性功能提供巨大的益處。
知識表征的預測知識（在RL架構下）
通用價值函數（GVF），是表示預測知識（predictive knowledge）的初步技術。根據定義，GVFs旨在擷取RL智體實際觀察結果的長時預測總結。例如，自主駕駛中的RL智體可能會提出問題，并用GVF表達相應的答案。例子有“在下一個十字路口不遇到紅燈的可能性有多大？”或者“根據目前的駕駛政策，到達目的地預計時間是多少？”
在動作中包含常識知識（包括時域問題和問題驅動的軟體分層結構）
分層軟體架構是一種支援可解釋自主駕駛決策系統的合适結構。這樣的結構直接反映了人類司機開車時的想法，例如，“交通燈會很快從綠色變為黃色嗎？”或者“前面的行人打算過馬路嗎？”或者“前面的車會加速嗎？”諸如這樣一些代表性的問題，反映了在運動過程中與駕駛相關的考量。根據這種直覺，可以說，自動駕駛汽車的分層軟體系統是問題驅動型。
可解釋性軟體系統應反映所采取時域行為的時域問題。與這種體系結構相對應而合适的RL方法是選項（options ）的概念。options 是動作的泛化，在這些動作中，RL智體有一個執行一個動作帶終端狀态的政策。最近提出的選項-批評（option-critic）架構是基于options 的概念。該體系結構可以學習内部政策和options 的終端狀态，在Arcade learning Environment（ALE）中的options 端到端學習，證明是有效的。選項-批評架構的固有結構，使其适合于自主車輛學習系統的進一步開發。
駕駛相關問題通常是暫時性的，幾秒鐘後就可以為後續行動生成新問題。駕駛決策的時間敏感性實時動态變化，使車輛面臨不同程度的風險。當然，風險較低的動作是首選。然而，在時間和計算方面，我們需要有效地探索，評估和相應動作相關的風險水準：僅關注增加RL獎勵，長時有可能不會帶來預期動作。
在傳統的RL中，隻考慮獎勵而不考慮風險作為衡量标準，并不總是自動化系統的完美決策，并且RL智體可能無法通過這種探索找到最優政策。相比之下，将不同級别的風險與相應的動作結合起來，有助于通過不同的過渡（transition）和獎勵，在環境中動态發現最優政策。是以，建構良好的問題層次結構和評估與适當動作相關的風險水準，在關鍵交通環境中有助于對智能車輛做出及時、直覺、豐富且可信賴的解釋。
來源：知乎—黃浴
-------------------END-------------------
看累了嗎？戳一下“在看”支援我們吧！