線性模型是否真的能給出一個很好的解釋？

Good Explanation

那就要先解釋一下什麼是一個 Good Explanation

關于什麼是Explanation，miller曾經給出一個回答，對于一個why類型問題的回答的解釋：

• 為什麼治療對患者無效？
• 為什麼我的貸款被拒絕？
• 為什麼外星生命還沒有聯系到我們？

前兩個問題可以用“日常”的解釋來回答，而第三個問題來自“更一般的科學現象和哲學問題”類别。我們關注于“日常”類型的解釋，因為這些解釋與可解釋的機器學習相關。以“如何”作為開頭的問題通常可以改為“為什麼”問題：“我的貸款是如何被拒絕的？”可以改為“為什麼我的貸款被拒絕的？”。“Explanation”一詞指解釋的社會和認知過程，但也指這些過程的産物。解釋者可以是人，也可以是機器。

關于什麼是一個好的解釋，這裡進一步濃縮了米勒關于“好的”解釋的總結，并為可解釋的機器學習添加了具體含義。

解釋是對比的：人類通常不會問為什麼會做出某個預測，而是問為什麼會做出這個預測而不是另一個預測。我們傾向于在反事實的情況下思考，即“如果輸入X不同，預測結果會如何？”。對于房價預測，房主可能會感興趣的是，為什麼預測價格高于他們預期的較低價格。如果我的貸款申請被拒絕，我不想聽到所有支援或反對拒絕的因素。我對申請中需要更改才能獲得貸款的因素感興趣。我想知道我的申請和我的申請被接受的版本之間的對比。認識到對比解釋的重要性是可解釋機器學習的一個重要發現。從大多數可解釋模型中，您可以提取一種解釋，該解釋将執行個體預測與人工資料執行個體預測或執行個體平均值進行隐式對比。醫生可能會問：“為什麼藥物對我的病人不起作用？”。他們可能需要一個解釋，将他們的患者與藥物有效的患者以及與無反應患者相似的患者進行對比。對比解釋比完整解釋更容易了解。對于醫生提出的藥物不起作用的問題的完整解釋可能包括：患者已患此病10年，11個基因過度表達，患者身體很快将藥物分解為無效化學物質。。。對比解釋可能要簡單得多：與有反應的患者相比，無反應的患者有某種基因組合，使藥物的療效降低。最好的解釋是強調感興趣的對象和參考對象之間的最大差異。

它對可解釋機器學習意味着什麼：人類不希望對一個預測有一個完整的解釋，但希望将差異與另一個執行個體的預測（可以是人工預測）進行比較。建立對比解釋取決于應用程式，因為它需要一個比較參考點。這可能取決于要解釋的資料點，但也取決于接收解釋的使用者。房價預測網站的使用者可能希望對房價預測做出解釋，并将其與自己的房子、網站上的另一所房子或附近的普通房子進行對比。自動建立對比解釋的解決方案可能還包括在資料中找到原型或原型。

選擇性的解釋：人們不希望解釋涵蓋事件的實際和完整原因清單。我們習慣于從各種可能的原因中選擇一個或兩個原因作為解釋。作為證據，打開電視新聞：“股價下跌被歸咎于由于最新軟體更新出現問題而對該公司産品越來越強烈的反彈。”

“對現有機構和我們的政府越來越不信任是降低投票率的主要因素。”一個事件可以由各種原因解釋的事實被稱為Rashomon Effect.。《羅生門》是一部日本電影，講述了關于武士之死的另類、沖突的故事（解釋）。對于機器學習模型來說，如果能從不同的特征中做出良好的預測，這是有利的。将具有不同特征（不同解釋）的多個模型組合在一起的內建方法通常表現良好，因為對這些“故事”進行平均可以使預測更加穩健和準确。但這也意味着，為什麼做出某個預測，有不止一種選擇性的解釋。

它對可解釋機器學習的意義：讓解釋非常簡短，隻給出1到3個理由，即使世界更複雜。

解釋是社會性的：它們是解釋者和解釋接受者之間對話或互動的一部分。社會背景決定了解釋的内容和性質。如果我想向一位技術人員解釋數字加密貨币為何如此值錢，我會說這樣的話：“分散、分布式、基于區塊鍊的分類賬，不能由一個中央實體控制，與那些希望獲得财富的人産生共鳴，這解釋了高需求和高價格。”但我想對我的祖母說：“聽着，祖母：加密貨币有點像電腦黃金。人們喜歡并為黃金付出很多，而年輕人喜歡并為電腦黃金付出很多。”

這對可解釋機器學習意味着什麼：關注機器學習應用程式的社會環境和目标閱聽人。正确使用機器學習模型的社交部分完全取決于您的具體應用。找人文學科的專家（如心理學家和社會學家）來幫助你。

解釋的重點是異常情況。人們更關注異常原因來解釋事件。這些原因的可能性很小，但仍然發生了。消除這些異常原因将極大地改變結果（反事實解釋）。人類認為這些“異常”的原因是很好的解釋。來自Štrumbelj和Kononenko（2011）的一個例子：假設我們有一個教師和學生之間的測試情境資料集。學生參加課程，并在成功完成示範後直接通過課程。教師可以選擇另外向學生提問，以測試他們的知識。不能回答這些問題的學生将不及格。學生可以有不同程度的準備，這意味着正确回答老師問題的機率不同（如果他們決定測試學生）。我們想預測一個學生是否會通過這門課程，并解釋我們的預測。如果老師沒有提出任何額外的問題，那麼通過的機率是100%，否則通過的機率取決于學生的準備水準和正确回答問題的機率。

情景1：老師通常會問學生額外的問題（例如，100次中有95次）。一個沒有學習的學生（有10%的機會通過問題部分）不是幸運的學生，他得到的額外問題沒有正确回答。這個學生為什麼不及格？我認為不學習是學生的錯。

情景2：老師很少問額外的問題（例如，100次中有2次）。對于一個沒有學習過這些問題的學生，我們預測通過課程的機率很高，因為不太可能有問題。當然，其中一名學生沒有準備問題，這給了他10%的通過問題的機會。他很不走運，老師又問了一些學生回答不了的問題，結果他不及格。失敗的原因是什麼？我認為現在更好的解釋是“因為老師測試了學生”。老師不太可能參加考試，是以老師的行為不正常。

它對可解釋機器學習意味着什麼：如果預測的一個輸入特征在任何意義上是異常的（如分類特征的罕見類别），并且該特征影響了預測，則應将其包括在解釋中，即使其他“正常”特征對預測的影響與異常特征相同。在我們的房價預測示例中，一個不正常的特征可能是一棟相當昂貴的房子有兩個陽台。即使某些歸因方法發現，這兩個陽台對價格差異的貢獻與高于平均水準的房子大小、良好的鄰裡關系或最近的裝修一樣大，但“兩個陽台”這一反常特征可能是解釋房子如此昂貴的最佳解釋。

解釋是真實的。好的解釋在現實中被證明是正确的（即在其他情況下）。但令人不安的是，這并不是“好”解釋的最重要因素。例如，選擇性似乎比真實性更重要。僅選擇一個或兩個可能原因的解釋很少涵蓋所有相關原因。選擇性忽略了部分真相。例如，導緻股市崩盤的并非隻有一兩個因素，但事實是，有數百萬個原因影響着數百萬人的行為，最終導緻了崩盤。

對可解釋的機器學習來說意味着什麼：解釋應該盡可能真實地預測事件，在機器學習中這有時被稱為忠實。是以，如果我們說第二個陽台提高了房子的價格，那麼這也應該适用于其他房子（或者至少适用于類似的房子）。對人類來說，解釋的忠實性不如其選擇性、對比性和社會方面重要。

好的解釋與被解釋者先前的信念是一緻的。人類傾向于忽略與他們先前的信仰不一緻的資訊。這種效應稱為确認偏差。這種偏見并不能免除解釋的責任。人們會傾向于貶低或忽視與他們的信仰不一緻的解釋。這套信仰因人而異，但也有基于群體的先前信仰，如政治世界觀。

它對可解釋機器學習意味着什麼：好的解釋與先前的信念是一緻的。這很難內建到機器學習中，并且可能會嚴重影響預測性能。我們先前認為，房屋規模對預測價格的影響是，房屋越大，價格越高。讓我們假設一個模型也顯示了房屋規模對一些房屋的預測價格的負面影響。該模型之是以了解到這一點，是因為它提高了預測性能（由于一些複雜的互動作用），但這種行為與我們之前的信念強烈沖突。您可以強制執行單調性限制（特征隻能在一個方向上影響預測），或者使用具有此屬性的線性模型之類的東西。

好的解釋是普遍的和有多種可能的。一個可以解釋許多事件的原因是非常普遍的，可以被認為是一個很好的解釋。請注意，這與異常原因可以做出很好解釋的說法相沖突。在我看來，非正常原因勝過一般原因。根據定義，異常原因在給定場景中很少見。在沒有異常事件的情況下，一般解釋被認為是良好的解釋。還要記住，人們往往會誤判聯合事件的機率。一個很好的例子是“房子之是以昂貴是因為它很大”，這是一個非常籠統、很好的解釋，解釋了為什麼房子貴或便宜。

它對可解釋機器學習的意義：通用性可以很容易地通過特征的支援來衡量，即解釋适用的執行個體數除以執行個體總數。

Linear Model

那麼關于線性模型是否真的能給出一個很好的解釋這個問題：

從構成良好解釋的屬性來看，線性模型不能産生好的解釋。它們是對比的，但參考執行個體是一個資料點，其中所有數字特征為零，分類特征位于其參考類别。這通常是一個人工的、無意義的執行個體，在您的資料或現實中不太可能發生。有一個例外：如果所有數字特征均以平均值為中心（特征減去特征的平均值），且所有分類特征均為效應編碼，則參考執行個體是所有特征均采用平均特征值的資料點。這也可能是一個不存在的資料點，但它至少可能更有可能或更有意義。在這種情況下，權重乘以特征值（特征效應）解釋了相對于“平均執行個體”對預測結果的貢獻。一個好的解釋的另一個方面是選擇性，這可以通過使用較少的特征或訓練稀疏的線性模型線上性模型中實作。但預設情況下，線性模型不會建立選擇性解釋。隻要線性方程是特征和結果之間關系的合适模型，線性模型就能做出真實的解釋。非線性和互相作用越多，線性模型就越不準确，解釋也就越不真實。線性使解釋更一般、更簡單。我認為，模型的線性本質是人們使用線性模型來解釋關系的主要因素。