随着以機器學習為代表的新一代人工智能技術不斷朝着更加先進、複雜、自主的方向發展，我們的經濟和社會發展都紛紛迎來了變革性的機遇。
但與此同時，AI算法的透明度、可解釋性問題也為公衆信任、公共安全等諸多領域帶來了前所未有的挑戰。
1月11日-14日，由騰訊研究院和騰訊可持續社會價值事業部（SSV）聯合主辦的“騰訊科技向善創新周”線上上舉辦。“透明可解釋AI——打開黑箱的理念與實踐”作為本屆創新周的第一個專題論壇，聚焦讨論人工智能的可解釋性與透明度問題。
本場論壇由騰訊集團副總裁、騰訊研究院總顧問楊健主持。會上，騰訊研究院秘書長張欽坤、優圖實驗室人臉識别技術負責人丁守鴻首先共同釋出了《可解釋AI發展報告2022》，随後由加拿大皇家科學院&加拿大工程院兩院院士楊強老師、南方科技大學計算機科學與工程系系主任姚新老師、廈門大學人文學院朱菁院長、騰訊AI Lab顧問吳保元老師、京東探索研究院算法科學家何鳳翔老師、天衍實驗室負責人鄭冶楓老師，共同參與了關于可解釋AI的圓桌讨論。
以下為圓桌研讨環節的整理文章：
可解釋AI的概念共識
姚新：
大家在讨論AI算法的透明性和可解釋性的時候，首先應該考慮三個W的問題——Who，What和Why的問題。
首先，到底是對誰講透明和可解釋？因為從科學研究來說，任何一個研究都必須透明，都必須可解釋，否則這個論文是發不出來的。是以我猜過去講透明性和可解釋性，可能不是對科學家來說的可解釋性或者透明性，因為對科學家的透明性和可解釋性，不一定對大衆透明和可解釋。第二是解釋什麼？解釋模型做出來的結果還是解釋這個模型的工作原理。第三，解釋總是有一個目的，目的是要追責還是了解這個模型的科學原理。
根據對這三個W不同的答案，會得出非常不一樣的透明性和可解釋性，相應的解決辦法可能也完全不一樣。不管怎樣，考慮透明性和可解釋性的時候，首先大家要有一個概念上的共識，使得我們知道我們是講同樣一件事情，而不是用了同樣一個名詞，大家在不同的抽象層次講不同的問題。
吳保元：
可解釋是可信AI的重要組成部分，是可信的前提條件之一，但是相比于魯棒性、公平性等可信特性，我覺得可解釋不是獨立存在的概念。就是姚老師剛才提到的，我們到底在解釋什麼？其他的特性都是有自己明确的數學定義，比如魯棒性、公平性等，但是可解釋性是沒有的，因為我們單獨提到它的時候，背後預設的更可能是對模型準确度的可解釋性。或許這也可以解釋為什麼目前的可解釋研究思路這麼多，但是好像沒有一個明确的架構，我覺得最主要的原因是它的解釋對象不一樣，沒有辦法統一到一起。
基于這種了解，我個人有一點小的想法，不應該把它稱為可解釋性，把它稱為可解釋力或許更準确。可解釋性，大家可能誤認為它是一種獨立存在的性質；可解釋力是一種可解釋的能力，就像我們說的了解力、上司力等等，它是一種手段，一種行為，一種操作存在，需要跟别的綁在一起。我覺得以後提到它的時候，應該準确地描述它是針對什麼特性的可解釋力，而不是籠統地說可解釋性如何。
可解釋AI的價值何在？
朱菁：
人們對于人工智能系統可解釋性、透明性的要求，大緻有四個層次：
第一個針對的是直接使用者，使用者需要了解人工智能産品、服務背後的原理是什麼，這是建立可信任AI的重要基礎。可解釋AI，實際上支撐了可信任AI。
第二個層次，對于政策和監管部門，他們希望通過解釋原理來了解人工智能産品的公平性、可問責性，歸因的過程是我們進一步問責、追究責任的基礎。是以，可解釋AI也與負責任的AI、可問責的AI是聯系在一起的。
第三個層次就是技術工程與科學層次，我們希望了解為什麼某些算法能夠成功，它成功背後的奧秘是什麼，它的應用範圍是什麼，它能否在更大的範圍内使用這樣一些算法或者是一些技術。
第四個是公衆了解AI，如果社會大衆大多數關心的話，他也能夠在這方面了解相應的技術、系統大體的工作原理方式是什麼。
何鳳翔：
在現在的AI系統中，其實很多算法背後運作機制是未知的，是不清楚的，這種未知帶來了未知的、難以管理的風險，包括安全性、魯棒性、隐私保護、公平性等等。
這些點關系到了社會運轉中非常關鍵、人命關天的領域，比如醫療、自動駕駛。這會帶來很大的應用方面的困難，以及社會對AI的不信任。因為當AI算法運作機制是未知的時候，它的風險機制、風險大小、風險尺度就是未知的，我們就難以去管理風險，進而去控制風險。
可解釋AI的挑戰何在？
原來我一個學生跟我做了一點關于公平性的工作，跟其他的文獻發現的點非常一緻，就是說模型的準确性和公平性之間是互相沖突的。性能最好的模型從公平性的角度來說，按名額來測量不見得最好，你要把模型做得都是最公平，用名額來衡量的話，它的性能就會受到損失。實際上可解釋性非常類似現在有各版的可解釋性名額，但是要真正考慮這些名額的話，模型的性能總是會掉下來，要考慮在實際過程中怎麼來找一個折中的方案。
針對可解釋性本身的不可行、不可取，這也是值得我們思考的問題。比如說我們在研究犯罪率或者說疾病的傳播率、發病率等，如果我們就拿現成的統計資料，比如在不同種族、不同地域采集的資料，很有可能會得出來某些種族或者某些地域犯罪率很高，這是因為資料采集的時候就是這樣的。這樣一來，如果可解釋給出的類似結論被公開，可能會造成種族或者地域歧視。但實際上資料背後是我們在采集的時候沒有采集其他特性，比如說為什麼這個地域的傳播率很高呢？很有可能是政府投入不足，或者說其他的因素。
是以這也啟發我們可解釋性本身它的可信性是什麼，它的準确性，它的公平性，它是否忽略了某些特征，或者誇大了某些特征，它的魯棒性，是不是把樣本變化一點，它的可解釋性截然相反，這些需要我們進一步思考。
另外，我跟很多研究可解釋的專家聊過，他們的困惑在于現在的可解釋性方法是不可印證的，甚至是沖突的，這就引出了可解釋性方法本身的可信度的問題。
在我看來，了解深度學習算法的運作機制，大緻有理論和實踐兩條路徑。在理論方面，目前的研究無法完全解釋理論上泛化性較差的深度模型為何能在多領域取得如此的成功。這種理論與實踐的沖突，就像曾經實體學中的烏雲一樣，反映出來了人們對于機器學習了解的缺失，而這是現在在理論上提升算法可解釋性的一個難點。
而在實驗角度上，很多實驗學科中的做法可以作為對于機器學習研究的啟發，比如說實體學、化學，以及剛才提到的醫療。比如說藥物研發流程中的合格檢驗，要做雙盲實驗；在實體學、化學的研究中，對控制變量實驗有嚴格要求。類似的機制是否能在AI研究中嚴格執行呢？我覺得這可能是另外一條路徑。在我看來，現有的很多對于AI算法的解釋是啟發式的，而在關鍵領域中我們需要的是證據，這需要在理論和實驗兩方面做很多工作。
可解釋AI如何實作？
前面很多專家都指出對于解釋有不同的目标，不同的對象，不同的要求，是以實際上關于人工智能的可解釋性問題可能是屬于多元性的，就是要允許有多種不同層次不同方式的解釋在這裡面起作用，針對不同的領域、不同的對象，使用不同解釋的方式。
當可解釋性有它的局限或者和其他的目标、要求，需要做出權衡取舍的時候，我們想也可以從多個層面來進行替代性的，或者說是補償性、補充性的政策。比方說針對監管部門，它對于可解釋性的要求，和面向公衆或者專家層面的，會有所不同，是以這個可以通過若幹個層次，比如說監管部門的，行業的，市場的，以及傳播普及層面的，對于安全性、魯棒性要求更高一些，或者在專家層面上有更好的溝通了解，而對于社會公衆而言，這裡面就需要有一些轉換，同時有需要一些權威部門，有公信力的部門，向社會做一些說明和認定。
深度神經網絡可以解決特别複雜的問題，我覺得現在大家用深度網絡有一個原因，即所針對的問題本身可能就比較複雜。這是一個假設。假如這個假設是對的話，那麼相應的可解釋性不會特别好了解。因為需要對付這些複雜性，相應的模型就必然是要複雜。
是以我總覺得透明性、可解釋性和性能之間是有一個固有的沖突，如果現在把從技術上讨論的方向，是怎麼找一個折中方案，根據不同的場景、可解釋的目的，找不同折中方案，這樣導緻有可能會出來一些比較具體的技術，或者可以促進這些技術往落地的方向走。
我們嘗試過一些從技術上可行的方案去量化各種可信特性，但是，要實作統一量化很困難，比如說公平性和魯棒性都有不同的量化準則和名額。當把不同的特性簡單組合到一起的時候很難優化，因為它們的準則是高度不對齊的，差異非常大，這就涉及怎麼去對齊這些特性坐标。我認為想要找到一個全局坐标系是非常困難的。我們可以從局部出發，針對某種場景，比如醫療場景，首先把隐私性當做前提，在金融或者自動駕駛，我們把魯棒性當做前提，然後再去研究其他特性，或許一步一步能夠找到這種坐标系。
可解釋AI的技術現狀？
鄭冶楓：
總體來說，因為我們現在還缺乏非常好的理論架構，是以可能針對問題，我們創造性地想一些算法，試圖提高本身這個系統的可解釋性，給大家舉兩個例子來說明一下我們天衍實驗室在這方面的探索。
深度學習可能有千億、萬億的參數，這對于醫生來說太複雜了，他很難了解這個算法的底層原理，算法本身可能缺乏一個全局的可解釋性。但是深度學習架構準确率非常高，是以我們不可能不用。而可解釋性非常好的模型就是回歸模型，這類模型主要的問題就是準确率太低。是以我們做了一個探索，我們希望把這兩個模型結合起來，它具有非常高的準确率，還有一定的可解釋性，不是完全可解釋性。
我們把這個混合模型用于疾病風險預測，就是根據病人曆次的就診記錄，我們預測病人在未來6個月之内得某個重大疾病的機率，比如他得卒中的機率。病人每一次的就診記錄包含大量資訊，這裡面我們需要提取一些跟預測目标相關的重要資訊，我們知道生物學習網絡最擅長的就是自動特征學習。是以我們利用深度學習網絡把一次就診記錄壓縮成一個特征的向量，接着我們利用回歸模型，把病人多次就診記錄綜合起來預測未來6個月之内這個病人得腦卒中的風險。
這裡我們用的是悉數線性回歸模型，從病人幾十次、上百次過去曆年就診記錄裡面，選取幾次與預測目标最相關的就診，選擇這幾例就診，我們會給它相應的權重。是以這種悉數線性回歸模型的可解釋性非常好，因為它隻關注很少的變量，普通人都能很好了解它，用哪幾次就診記錄，做資訊權重，得出最後的風險估計。這是一個全局性的可解釋性，比深度學習好很多。
楊強：
我們在審視各個算法和它對應的可解釋性的關聯問題上，發現一個有趣的現象，比方說在機器學習裡面，深度學習就是屬于效率非常高的，但是它卻對應的可解釋性很差。同樣，線性模型沒有那麼高，但是它的可解釋性相對強一些，樹狀模型也是，因果模型更是這樣。是以往往我們确實得做一個取舍，就是我們在可解釋這個次元和高效率這個次元，在這個空間裡面選擇哪一個點，現在并沒有在兩個次元都高的這樣一個算法。
可解釋AI的行業實踐
各行業對可解釋性和透明性的要求不同，我結合醫療AI這個場景給大家分享一下我的體會和了解。大家知道醫療在全世界範圍内都是被強監管的領域，一款醫療産品要上市必須拿到醫療器械注冊證，輔助診斷算法AI産品屬于三類醫療醫療，也就是監管最嚴格的級别，是以我們要披露的資訊很多，大緻包括資料集和臨床算法驗證兩方面。前者主要強調資料集的公平多樣性和廣泛覆寫性，後者則重視披露我們的算法真正在臨床試驗中、真正臨床應用的時候它的性能。
此外，我們的測試樣本也需要有很好的多樣性，覆寫不同醫院，不同區域，不同病人群體、廠商、掃描參數等等。臨床實驗更加嚴格，首先我們要固化算法的代碼，在臨床試驗期間是不能改代碼的，因為你不能一邊做實驗一邊改代碼，這就失去了臨床試驗的意義。
是以醫療AI的監管是非常強的，藥監局需要我們披露很多資訊，提高醫療AI産品的透明性，它有非常嚴格甚至苛刻的書面要求。因為我們知道智能學習網絡天然不具有很好的解釋性，雖然你可以做一些中間增強，可以一定程度上改善這些事情，監管也可以了解這個解釋性差一點，正因為解釋性差，要求的透明性就越高。
我覺得提供AI系統的說明書有兩個路徑.第一個路徑從生成AI系統的過程出發。這一點現在有一些實踐，比如開源代碼，說明使用了什麼資料，資料是如何使用的、如何預處理的。這會提升人們對AI的信任和了解，這也像剛才鄭老師提到，申請醫療相關的資質的時候，我們需要把生産細節彙報給相關機構。
第二種方式就是從生成的AI系統所做出的預測以及決策的名額來入手做算法的說明書。比方對AI系統做一些測評。對于剛才我們提到的名額，包括可解釋性、魯棒性、準确性、隐私保護、公平性，找到一些比較好的量化名額、找到一些評測算法，把這些名額作為AI系統的使用說明書。
可解釋AI的未來發展
楊強：我期待在未來人工智能的治理，在人工智能，人和機器這種和諧共存，共同解決我們要解決問題的前提下，會越來越成熟。我是非常看好這個領域的。
朱菁：我期待這個領域進一步的探讨，不同領域的學者都能夠參與進來。比如說像我自己做的主要是哲學，科技哲學。在科技哲學，實際上對于解釋有将近一百年的積累和探索，這裡面應該有很多可以發掘借鑒的資源，參與到目前這樣一個很有意思很有挑戰性的話題裡面。
何鳳翔：AI本身是一個跨學科領域，它可能會用到很多數學、統計、實體、計算機等各個知識的領域，今天提到的很多點，包括隐私保護、公平性，很多也是來源于人文學科、法律、社會學這些方面。是以這就意味着研究可信AI以及可解釋性等等方面會需要各個學科領域的人合作起來一起去做的一件事情，會非常需要大家的通力合作，共同推進這個領域的發展。
姚新：對于做研究來說，我希望将來可以有一點聚焦的讨論。我剛才講的3W，到底我們要解決透明性、可解釋性的哪一部分，對誰而言。假如對醫療而言，是對法規的制定者來說還是對醫生來說，還是對病人來說，還是對這個系統的開發者來說？我覺得在這裡面有非常多可以發揮自己的想象力和能力的地方。
吳保元：希望今後的AI研究者具備綜合的思考能力，不僅僅關注于某一個特性，比如說關注準确度。希望把可信當做一個前提條件，多種特性之間的關聯，大家是值得思考的。希望AI的研究者和人文學者多多交流，開拓視野。對于公衆和政府來講，希望通過讨論也可以了解到目前發展的現狀，希望有一種包容的心态了解這個領域。
鄭冶楓：對算法人員來說，當然我們希望将來科學家們找到非常好的，具有良好可解釋性，同時準确性非常高的算法，真正做到魚和熊掌兼得。
