本次報道論文為發表于PNAS的Understanding the role of individual units in a deep neural network。衆所周知，深度神經網絡擅長查找可解決大型資料集上負責任務的分層表示。人類如何了解這些學習到的表示，這是值得探究的問題。該文章是美國麻省理工學院的David Bau博士等人在該領域的研究成果：首先提出網絡剖析方法來識别、可視化和量化深度神經網絡中各個神經元的作用，接着剖析了在圖像分類和圖像生成兩種不同類型的任務上訓練的網絡神經元，最後通過兩個應用程式證明了方法的有用性。
1
介紹
随着越來越複雜的神經網絡架構的出現，許多人開始思考神經網絡中每個神經元本身的作用究竟是什麼？在最先進的深度網絡中，研究者們已經觀察到許多單個神經元與未教授給網絡的人類可解釋的概念相比對：已發現神經元可以檢測物體、區域、性别、語境、感情等。找到這樣有實際意義的抽象概念是深度學習的主要目标之一，然而這類具有特定概念的神經元的出現以及在神經網絡中的作用尚不明确。
針對上述情況，文中開篇提出兩個疑問：(1)如何量化跨網絡層中概念神經元的出現?(2)這些概念神經元比對哪些類型的概念，它們有什麼功能? 當神經網絡包括一個關于樹的激活神經元時，研究者們希望了解它們的關聯是虛假的還是具有邏輯的，這可以揭示網絡如何對更進階别的樹概念進行模組化。
為研究這些問題，作者引入了網絡剖析模型，這是一種分析架構，可以系統地識别圖像分類和圖像生成網絡中各個隐藏神經元的語義。首先，作者分析了一個經過場景分類訓練的卷積神經網絡(CNN)，并發現與各種對象概念集相比對的神經元。有證據表明網絡已經學習了許多在場景分類中起着關鍵作用的對象類。其次，作者使用類似的分析方法來分析訓練用于生成場景的生成對抗網絡(GAN)模型。通過分析在激活或停用小組神經元時所做的改變，我們發現在适應環境的同時可以在輸出場景中添加或删除對象。最後，作者将他們的分析架構應用于了解對抗性攻擊和語義圖像編輯。
2
研究成果
2.1 場景分類器中物體檢測器的出現
首先，在景色分類任務訓練時，研究人員對物體檢測器對應的神經元進行了定義。具體來說，研究者對VGG-16結構的CNN網絡進行了分析，而分類任務則使用了從MIT計算機科學和人工智能實驗室風景識别資料庫中提取的Places365資料集，将圖像分為365個風景類别。作者分析了網絡的13個卷積層内的所有神經元（圖2-1 A）。
如圖2-1所示，(A) VGG-16由13個卷積層組成，conv1_1到conv5_3，然後是3個全連接配接層fc6、fc7、fc8。(B)在輸入圖像上的單個過濾器的激活可以可視化為過濾器激活超過其前1%分位數水準的區域，該區域對應圖像中所有人的頭部。(C)通過将高激活區域與一組人類可了解的視覺概念相比對，為單個神經元評分;如圖顯示了幾個标記的概念檢測器神經元以及五個神經元激活程度最高的圖像。(D) 列出了conv5_3層中每個分割的概念比對神經元，不包括IoU 比率 <4%的神經元，顯示了每個概念比對神經元的頻率。(E)比較網絡的所有層，發現大多數目标探測器出現在最後的卷積層。(F) 顯示了該神經元在飛機和非飛機圖像網絡的樣本上的激活分布。
在研究過程中，為了量化概念c和神經元u之間的關系，使用了IoU比率：
這個IoU比率是在支援驗證集圖像集上進行計算的。
2.2 場景分類器中神經元的角色
作者在文中提出疑問：在上述的圖像分類神經網絡中如何使用物體檢測神經元? 網絡壓縮的研究表明，在確定整體神經網絡分類準确度的同時，可以通過重新訓練消除許多神經元。估計單個神經元重要性的一種方法是研究删除該神經元對整體平均網絡精度的影響。
為更細緻地了解網絡中每個神經元的邏輯作用，作者評估在移除單個神經元時，神經網絡對每個單獨場景進行分類的能力的影響。移除神經元的方法是通過強制指定神經元輸出為零并保持網絡的其餘部分完好無損。同時，網絡并未被重新訓練，作者采用在指定類與其它所有類之間做區分的分類任務，以此測試單類别的分類精度。
在上圖2-2 A中，當每個神經元從網絡中單獨移除時，四個 conv5_3 神經元對滑雪勝地的平衡分類精度造成的損害最大；剖析顯示，這些最重要的神經元可以探測出滑雪場中突出的視覺概念。2-2 B則表明當對場景類别中最重要的神經元全部删除時，所有類别的分類精度下降到接近機會的水準。當conv5_3中的492個最不重要的神經元一起被删除（隻留下20個最重要的神經元）時，精确度仍然很高。
同時，作者發現神經元重要性和可解釋性之間的關系，如圖2-2 E；最可解釋的神經元是那些對許多不同場景輸出類别都很重要的神經元。僅對一類重要的神經元的可解釋性較差，一般由IoU衡量。
2.3 對抗生成網絡中物體檢測器的出現
生成對抗網絡 (GAN) 學習合成随機逼真圖像，模拟訓練集中真實圖像的分布。在架構上，經過訓練的 GAN 生成器與分類器相反，從随機輸入的潛在向量生成逼真的圖像。與分類不同，它是一種無監督的設定：沒有向GAN提供人工注釋，是以網絡必須自己學習圖像的結構。
作者測試了經過訓練以模仿LSUN廚房圖像的漸進式GAN架構。該網絡結構由15個卷積層組成。給定一個從多變量高斯分布采樣出512維的向量，網絡在處理 15 層資料後生成256*256的逼真圖像，如下圖2-3所示：
在研究過程中，作者發現神經元并沒有嚴格的對應于像素模式，如圖2-3 E：當烤箱或椅子部件神經元被激活時，會生成烤箱和椅子的各種視覺外觀。
圖2-3 F顯示将對應于窗戶的神經元314作為分類器進行測試時，平均而言，該神經元在包含大視窗的生成圖像上比不包含大視窗的圖像更強烈地激活。然而，并不完全是這樣，圖2-3 G則是舉了些反例，在不激活神經元314的情況下生成包含大視窗的圖像。
2.4 對抗生成網絡中神經元的角色
神經元和生成的對象類之間的相關性是暗示性的，但它們并不能證明與對象類相關的神經元實際上會導緻生成器渲染對象類的執行個體。為了更好地了解神經元在GAN生成器中的邏輯作用，作者測試了當神經元組被直接移除或激活時生成器的輸出結果。
首先，作者從在LSUN教堂場景上訓練的漸進GAN中依次移除更大的樹神經元集。我們根據IoUu,tree對第4層的神經元進行排序，以識别出最具樹特異性的神經元。當這些樹神經元的連續較大集從網絡中移除時，GAN生成的圖像樹越來越少，越來越小(圖2-4 A)。去掉20個最特定于樹的神經元，測量超過10,000張随機生成的圖像，發現生成的輸出中樹像素的數量減少了53.3%。
3
應用
3.1 分析分類器的對抗性攻擊
圖像分類器對對抗性攻擊的敏感性是一個十分活躍的研究領域。為了可視化和了解攻擊的工作原理，作者檢查對重要對象檢測器神經元的影響。
在下圖3-1 A中，正确分類的“滑雪勝地”圖像被Carlini-Wagner優化方法攻擊成“卧室”。對抗性算法計算一個微小的擾動，當該擾動添加到原始圖像時，結果圖像在肉眼完全無法和原圖差別開的同時，被錯誤分類為了卧室。為了了解攻擊是如何工作的，作者檢查了滑雪勝地場景最重要的四個神經元和對卧室場景最重要的四個神經元。在圖3-1 B中可視化了這些神經元在原始圖像和對抗性圖像之間的激活變化。這表明攻擊通過減少對雪、山、房子和樹物體的檢測，并通過在圖像中實際不存在這些對象的位置增加床、人頭和沙發的檢測器的激活來愚弄網絡。
3.2 使用GAN的語義繪制
為了解網絡中神經元的作用，作者建立一個人機界面，通過直接操縱神經元來控制網絡。作者将此方法應用于GAN以建立互動式繪畫應用程式，該應用程式不是使用調色闆進行繪畫，而是使用高層視覺概念畫闆。每個概念與20個神經元相關聯，這些神經元概念u而言擁有最大比率IoUu,c。
該應用通過操縱GAN神經元進行繪畫。如上圖3-2所示，(A)互動界面允許使用者選擇幾個進階語義視覺概念并将它們繪制到圖像上。每個概念對應于GAN中的20個神經元。(B)使用者在指定位置添加圓頂後，結果是修改後的圖像，其中已添加圓頂代替原始尖塔。在通過更改20個圓頂神經元來表達使用者的進階意圖後，生成器會自動處理如何将對象組合在一起以保持輸出場景逼真的像素級細節。
總結展望
為了更好地了解網絡是如何工作的，作者提出了一種分析單個神經元的方法。在分類其中，神經元揭示了網絡如何将特定場景類别的識别分解為對每個場景類别都很重要的特定視覺概念。此外，在生成器中，神經元的行為揭示場景中物體類間強制執行的環境适應關系。
網絡剖析依賴于在訓練過程中出現的人類可了解的神經元，在最先進的有監督的和無監督的神經網絡模型中都已經發現許多這種可解釋的神經元。如何訓練更好的解開模型是一個開放的問題，也是衆多研究者持續努力的方向。
作者得出的結論是，對單個神經元的系統分析可以洞察深層網絡的黑盒子内部。通過觀察和操作深層網絡的神經元，就有可能了解網絡所學習的知識的結構，并建立有助于人類與這些強大模型互動的系統。