【新智元導讀】人們對深度學習模型的真正運作機制還遠遠沒有完全了解，如何提高預測模型的“可解釋性”成了一個日益重要的話題。近來的一篇論文讨論了機器學習模型的“可解釋性”的概念及其重要意義。
7月17日，加州大學聖疊戈分校（UCSD）博士、卡内基梅隆大學（CMU）計算機科學助理教授Zachary C. Lipton在ACM Queue上發表了題為《The Mythos of Model Interpretability》的文章，讨論了監督式機器學習預測模型的可解釋性問題。Lipton在文中試圖明确“可解釋性”的定義，并對“可解釋性”進行分類，并提出了一個重要觀點，認為線性模型的可解釋性并不一定高于深度神經網絡（DNN）模型。
以下是新智元對論文内容的簡編。
監督式的機器學習模型具有卓越的預測能力。不過，機器學習模型不僅應該可用，而且應該是可解釋的，但“解釋機器學習模型”的任務定義似乎不夠明确。學術文獻中提出了為模型尋求可解釋性的許多動機，并提供了無數的技術來提供可解釋的模型。盡管存在這種模棱兩可的情況，但許多作者宣稱他們的模型在公理上是可解釋的，然而對此卻缺乏進一步的論證。問題是，目前尚不清楚這些技術的共同特性是什麼。
本文旨在完善關于可解釋性的表述。首先，文章回顧了以前論文中解決可解釋性的目标，發現這些目标多種多樣，偶爾還有互相沖突。接着讨論了研究可解釋性的模型屬性和技術思路，以及模型對人而言的識别透明度，并引入了“事後可解釋性”的概念作為對比。文章讨論了關于模型可解釋性概念的不同觀點的可行性和合理之處，對“線性模型可解釋，深度神經網絡不可解釋”這一常見的觀點提出了質疑。
在過去的20年中，機器學習的快速發展産生了自動決策。在實際應用中，大多數基于機器學習的決策的運作方式是這樣的：用輸入資料訓練機器學習算法，然後由算法預測相應的輸出。例如，給定一組關于金融交易的屬性資訊，機器學習算法可以預測長期的投資回報。給定來自CT掃描的圖像，算法可以該圖像的掃描對象罹患癌性惡性良性腫瘤的機率。
機器學習算法接收大量成對資料（輸入和輸出），然後輸出一個模型，能夠預測之前未見過的輸入。研究人員将這個模式稱為“監督式學習”。然後，為了讓決策過程完全自動化，可以将模型的輸出提供給某個決策規則。例如，垃圾郵件過濾器可以通過程式舍棄被預測為垃圾郵件（置信度超過某門檻值）的電郵。
什麼是可解釋性，它為什麼如此重要？
目前機器學習在醫學、刑事司法系統和金融市場等關鍵領域的應用越來越廣泛，但人類無法真正了解這些模型，這是個問題。一些人提出了模型的“可解釋性”作為一種補救措施，但在學術文獻中，很少有作者準确地闡明了“可解釋性”的含義，也沒有準确解釋他們提出的解決方案為何是有用的。
盡管缺乏定義，但越來越多的文獻提出了據稱可解釋的算法。這樣來看我們似乎可以得出以下結論：要麼是（1）人們對可解釋性的定義是普遍認同的，但沒人願意費心以書面表達出來，要麼就是（2）對“可解釋性”的定義是不明确的，是以關于機器學習模型的可解釋性的觀點都顯得科學性不足。對相關文獻的研究表明，後者與實際情況相符合。關于模型可解釋性的文獻中提出的目标和方法多種多樣，這表明可解釋性不是一個單一概念，而是一些彼此迥然不同的觀點，有必要将這些觀點分開來讨論。
本文側重讨論監督式學習，而非強化學習和互動學習等其他機器學習範式。這是因為目前在實際應用中，監督式學習居于首要地位。同時給出了對“線性模型可解釋，而深層神經網絡不可解釋”這個常見觀點的分析。首先需要明确的是，什麼是可解釋性？可解釋性為什麼如此重要？
許多人提出，可解釋性就是對模型産生信任的方式。這又導緻了另一個關于認識論的問題：什麼是信任？是指對模型能夠表現良好的信心嗎？還是說“可解釋性”隻是意味着對模型的低層級機制的了解？信任是否是一種主觀的定義？
還有人認為，可解釋的模型就是可取的，因為它可能有助于揭示觀察資料中的因果結構。而關于解釋權的法律概念為可解釋性一詞提供了另一個視角。有時，尋求可解釋性的目的，可能隻是為了從模型中擷取更多有用的資訊。
本文讨論了模型的哪些屬性可以讓它們變得可解釋。有些論文将可解釋性與可了解性或可了解性等同起來，在這些論文中，可了解的模型有時被稱為“透明”的，而難以了解的模型被稱為黑盒子。但是透明度是什麼？算法本身會收斂嗎？有唯一解嗎？人們是否了解每個參數代表什麼？或者考慮模型的複雜性：是否足夠簡單？
其他内容包括“事後可解釋”的概念。這種解釋可能解釋了預測結果，但沒有闡明預測模型運作的機制。比如由人類生成的口頭解釋，或者用于分析深度神經網絡的顯著性圖。是以，人類做出的決定可能會滿足“事後可解釋”，不過人類大腦的運作機制仍是個黑盒子，這表明兩種常見的可解釋性概念之間的沖突。
本論文的作者Zachary C. Lipton
線性模型和深度網絡模型的取舍
可解釋性的概念很重要、也很棘手。本文分析了可解釋性的動機和研究界提出的一些嘗試。現在讓我們考慮一下這種分析的含義并提供一些内容。
線性模型并不比深度神經網絡具有更高的可解釋性。盡管這種說法很流行，但其真實價值取決于采用哪種可解釋性的概念。如果可解釋性指的是算法透明度，那麼這種說法似乎沒有什麼争議，但對高維特征或經大幅修正的特征而言，線性模型就分别不具備可模拟性和可分解性。
線上性模型和深度模型之間進行選擇時，我們時常要在算法透明度和可分解性之間進行權衡。這是因為深度神經網絡模型一般面向原始特征或輕度處理的特征。是以如果不出意外，這些特征都具有直覺的意義，因而采用“事後可解釋性”的概念是可以接受的。而線性模型則不同，為了獲得足夠的性能，通常必須面向大量經人工設計的特征。Zachary Lipton曾與他人合作撰文指出，線性模型要想接近遞歸神經網絡（RNN）的性能，就必須以舍棄可分解性為代價。
如果考察某些類型的“事後可解釋性”（post-hoc interpretable），深度神經網絡具有明顯的優勢。深度神經網絡能夠學習豐富的表示，這些表示能夠可視化、用語言表達或用于聚類。如果考慮對可解釋性的需求，似乎線性模型在研究自然世界上的表現更好，但這似乎沒有理論上的原因。
關于可解釋性的聲明必須是合格的。可解釋性一詞并沒有一個整體概念。關于可解釋性的任何觀點都應該首先為“可解釋性”确定一個特定的定義。如果模型滿足透明度的形式，則可解釋性可以直接展現出來。對于“事後可解釋性”，則應确定一個明确的目标，并證明所提供的解釋形式能夠實作這一目标。
事後解釋可能會有誤導性。不能一味接受“事後可解釋”的概念，特别是在基于主觀目标對模型做特定優化時。因為在這種情況下，人們可能會在有意無意間優化算法，以提供誤導性、但貌似合理的解釋。就像在招聘活動和大學錄取中的一些行為一樣。我們在努力推廣機器學習模型的應用，模仿人類智能的過程中，更應該小心不要重制大規模的不正常行為。
未來方向
未來有幾個有前途的方向。首先，對于某些問題，可以開發更豐富的損失函數和性能名額，降低現實與機器學習目标之間的差異。包括對稀疏誘導正則化因子（sparsity-inducing regularizers）和成本敏感學習（cost-sensitive learning）的研究。其次，這種分析可以擴充到其他機器學習範式中，比如強化學習。強化學習模型可通過直接對模型與環境的互動進行模組化，進而解決模型可解釋性研究中的一些問題。
值得注意的是，強化學習模型能夠學習自身行為與現實世界的影響之間的因果關系。然而，與監督式學習一樣，強化學習同樣依賴于明确定義的标量目标。對于公平性（fairness）問題，這個我們正在努力精确定義的名額，機器學習範式可解釋度的提升則不大可能解決。
觀點争鳴
不過，關于這個問題也有人提出了一些異議，谷歌大腦軟體工程師、斯坦福大學計算機科學碩士Akshay Agrawal就對Lipton論文中的主要觀點進行了歸納，并提出了不少不同意見。
對此文提出不同意見的Akshay Agrawal
Agrawal認為Lipton的論文對模型可解釋性的定義分為三個方面：
第一是透明度，其表現形式是“可模拟性”，即人類應該可以手動模拟機器學習模型。第二是“可分解性”，即模型的每個部分都有直覺的解釋。第三是算法，算法應該有獨一無二的解。
Agrawal認為：第一點有些問題，因為計算機的目的是自動完成人類在合理的時間内無法完成的任務。第二點講得很好。第三點也有問題，因為即使在凸面上甚至都不能保證有唯一解。而算法的确定性問題已經不屬于機器學習的範圍。
Agrawal表示，在可解釋性問題上，重要問題的有兩點：
- 這個模型是否能推廣用在未見過的資料上面？如果在對某個推廣假設試圖證僞之後，該假設仍然成立，那麼這個模型就是可解釋的。我認為這與Lipton在此文中說的“可轉移性”的概念差不多。
- 該模型是否足夠安全，比如是否能夠防止欺騙？确定模型的安全性是一個懸而未決的問題。也許可以通過使用Lipton在他的論文中調查的一些工具來研究這個問題。不過我很清楚，驗證神經網絡模型的安全性要比對線性模型進行驗證要困難得多。
參考連結：
https://www.akshayagrawal.com/papers/html/lipton2017.html論文位址：
https://queue.acm.org/detail.cfm?id=3241340原文釋出時間為：2018-07-23
本文來自雲栖社群合作夥伴新智元，了解相關資訊可以關注“AI_era”。
原文連結：
線性模型可解釋一定比DNN高？UCSD科學家：大錯特錯！