作者 | 桑基韬
整理 | 維克多
人工智能目前最大的“攔路虎”是不可信賴性，以深度學習為基礎的算法，在實驗室環境下可以達到甚至超過人類的水準，但在很多實際應用場景下的性能無法保證，而且存在對抗魯棒性、解釋性、公平性等問題。
4月8日，在AI TIME青年科學家——AI 2000學者專場論壇上，北京交通大學計算機科學系教授、系主任桑基韬在報告《“超”人的機器學習：非語義特征的得與失》中，從兩類虛假相關性角度解釋了這種現象：
機器學習其實不管是目标，還是學習方式，都是類人的，是對人的知識蒸餾。這種知識蒸餾會出現兩種情況：學的不夠好，稱為虛假相關性-1（欠蒸餾）；學的太好了，稱之為虛假相關性-2（過蒸餾）。
欠蒸餾，因為資料不完備，模型隻學習到了訓練資料的局部相關性，會存在分布外泛化和公平性等問題；過蒸餾是機器學習到了人難以感覺/了解的模式，影響到了模型的對抗魯棒性和解釋性。
此外，桑教授還提出了将虛假相關性統一，探索非語義特征的學習和利用。以下是演講全文，AI科技評論做了不改變原意的整理：
今天分享多媒體分析特别是計算機視覺中非語義特征的現象，分為三個部分：得、失和失而複得。報告内容受了很多工作的啟發，其中有一些是我不成熟的思考，希望能和大家交流讨論。
1
得：“超”人的機器學習和非語義特征
回顧人工智能和機器學習的發展史，在圍繞和人類經典任務PK的過程中，AI已經超越了人類的表現。從1997年國際象棋深藍”以3.5:2.5戰勝人類國際象棋世界冠軍卡斯帕羅夫，到2021年AlphaFold蛋白質結構預測超過人類，都在表明，AI已經可以模拟分析、推理、決策等人類重要能力。
但在“超人”的能力之外，也展現了AI在對抗攻擊下的脆弱性。上圖第二張圖檔，人類加了一些噪聲之後，同樣一個網絡卻給出了兩種截然不同的答案：elephant與koala。
不僅是圖像分類，對于對抗攻擊下的決策、表示，AI也非常脆弱。例如，通過加入一些對抗噪聲，以上圖檔經過神經網絡能得到完全一緻的特征表示，也就是人視覺不同、對抗攻擊後表示完全相同。目前，對抗攻擊有很多作惡的地方，例如無人駕駛中攻擊路辨別别；刷卡機中攻擊人臉識别。
回顧對抗樣本的發展，在2014年，Szegedy首次提出對抗樣本問題的10年前，2003年就有欺騙算法，也叫敵手模型，攻擊垃圾郵件檢測器。2014年提出的深度學習對抗樣本，重要的特點是其強調“人類察覺不到擾動”。此後，對抗樣本研究發展，呈現“貓鼠遊戲”的狀态，沒有絕對成功的攻擊，也沒有絕對的防禦。
2017年有兩個工作值得一提，對抗樣本實體化，在各個視角欺騙神經網絡的現實世界3D物體；通用對抗噪聲UAP，對于不同的樣本添加通用的噪聲，都可以讓模型出錯。
2019年MIT Madry團隊的工作給了我們很大啟發：對抗噪聲本質是模型特征，對抗樣本的分類器可以泛化到攻擊類測試樣本。具體而言，Madry通過兩個實驗得出兩個結論：
1.對抗噪聲可以作為目标類特征。如上圖，是一張幹淨的小狗圖檔，通過加入“代表貓（特征）”的對抗噪聲，讓AI将其識别成貓。基于這些對抗攻擊污染後的對抗樣本訓練的貓分類器在識别幹淨貓圖像的任務中，卻有不錯的泛化。這就是利用對抗噪聲訓練的目标類分類器可以較好地泛化于真實的目标類樣本。
2.非魯棒特征對模型泛化性有貢獻。把圖像分成兩類特征，一類是人可以了解，稱為魯棒特征，另一類是噪聲，稱為非魯棒特征。當把圖像非魯棒特征去掉時，隻利用這一部分特征去進行訓練時候，會發現模型在樣本上的準确性、泛化性是下降的。是以，可以得出結論非魯棒特征對模型泛化性有貢獻，有些資訊人類不易了解但可以輔助模型推斷。
除了對抗噪聲能夠展現人與AI算法的不同，是否關注物體的形狀和紋理也是差別之一。如上圖，在處理一個8*8拼圖的圖檔時，人類很難識别出物體本來的面目；如果是4*4，我們勉強能看出邊緣。是以，人在判斷物體的時候，其實是需要借助形狀資訊。但是對于CNN模型，當形狀資訊缺失的時候，完全可以根據紋理進行準确的判斷。
同時，該現象在頻域裡也有表現。如上圖，高頻重建的圖像人眼幾乎無法識别，模型卻能準确預測類别。這篇論文中指出：資料包含兩類資訊，一類是語義資訊，一類是以高頻為代表的非語義資訊。
在這兩類資訊裡，人隻能利用語義資訊進行判斷，模型同時可以利用這兩部分資訊。這篇論文和Madry團隊論文中的觀點引發了激烈的讨論：這部分資訊是過拟合的噪聲，還是真實任務的特征？我更傾向于後者，下面提供幾個證據。
1.對抗樣本的遷移性，其實就說明了非語義特征可以跨模型、跨資料集。換句話說，它不是針對模型和資料集過拟合的。
2.非哺乳動物的四色視覺，也表明一種視覺的資訊對于某些物種，可能是不可見、不可感覺的，但是對于其他物種是可感覺的，而且是非常重要的。例如紫外光譜人不可感覺，但鳥類可以看見，其中包含了鳥類求偶的真實特征。
3.AlphaFold：蛋白質折疊中的非語義特征。學者發現，折疊配置依賴于分布于整個多肽鍊的互動指紋，而互動指紋由于其全局分布性，結構非常複雜，人難以用規則進行定義。但其對于預測是有效的。是以，互動指紋這種非語義特征，顯然對于蛋白質折疊的任務是有益的。
以上這些非語義特征的存在，也是目前很多機器學習任務超過人類的一個原因。
2
失：兩類虛假相關性和可信賴機器學習
從另外角度看，這種非語義特征有哪些問題？從一種假設說起：“把機器學習看成對人的知識蒸餾”。這一假設可以用監督學習進行了解，監督學習要求“人去打标簽”，然後模型會基于标簽去學習從樣本到标簽的映射。在無監督和自監督任務中，其實也是人為去設定目标和學習機制。換句話說，機器學習其實不管是目标，還是學習方式，都是類人的，是對人的知識蒸餾。
但這種知識蒸餾有時會出現兩種情況：學的不夠好，稱為虛假相關性-1（欠蒸餾）；學的太好了，稱之為虛假相關性-2（過蒸餾）。
其中，虛假的相關性是指統計機器學習基于訓練資料中存在的相關性學習特征構模組化型，其中某些相關性特征在系統和人使用過程中會出現錯誤。
這種欠蒸餾可以從機器學習過拟合的角度了解，因為資料不完備，模型學習到了訓練資料的局部相關性。這會導緻分布外泛化問題，訓練集和測試集來自不同分布時，測試性能大幅下降，“聰明的漢斯”、“坦克都市傳奇”都是分布外泛化的例子。
2017年，ICLR一篇最佳論文提出随機标簽現象也可了解為欠蒸餾的展現，即随機打亂訓練集樣本标簽，泛化gap随随機标簽比例上升而增加，導緻測試性能下降。這反映了深度網絡甚至可以記憶訓練集中的噪聲資訊，但這種噪聲不是任務的本質特征，無法保證泛化性能。
總結一下，欠蒸餾會導緻模型學習到一些任務無關特征，即訓練集強關聯，但測試集無法泛化。我們嘗試對任務無關特征給出更為嚴謹的定義，并分析它的性質。如上圖，從資料生成的角度，從标簽Y到樣本X的生成過程中間引入一個變量G。G分成兩部分，一部分是和任務相關的生成變量，也就是說當變量改變的時候，整個任務都會改變；另一部分是，它不會影響Y的分布，但是會影響x的呈現，例如對于生成“狗”的任務裡面，模型會關注狗的位置，尺寸、光照等和任務無關的變量。這其實是對IID的放松，更符合資料集的實際分布情況。
任務無關特征除了有泛化性問題，在因果架構中，還可以看做混淆變量，同時如果這種特征帶有社會屬性，還可以看做偏見變量，會導緻公平性問題。
前面提到過蒸餾是機器學習到了人難以感覺/了解的模式，我們将其定義為非語義特征。簡單來說，這種非語義特征是模型可利用的、人類難以了解的資訊。值得指出的是，目前對于非語義特征尚沒有統一的認識，我們正嘗試結合人類視覺感覺特點和資訊理論建立一個嚴謹的、可以量化的定義。目前可以借助非語義特征的兩種表現形式來了解：從内容結構角度可稱為弱結構化特征，比如高頻、小奇異值對應的資訊都是人難以感覺的；從模型知識角度即對應了Madry論文中提到的非魯棒特征，可大緻了解為攻擊模型産生的對抗噪聲。
上圖（左）是在亞馬遜衆包平台上請勞工對字元驗證碼進行識别的例子。我們在裡面加入了8種程度的對抗噪聲，可以看出人類和OCR識别算法的變化：最高尺度的噪聲對人類沒有變化，但由于擾動了非語義資訊，算法性能會下降很快。
上圖（右） 是加入高斯白噪聲的情況。可以看到，人和算法雖然随着噪聲程度的增加都有下降，但是人受影響會更大。原因可能是，當白噪聲的等級增加，人類所主要依賴的語義資訊就被遮蓋掉了，但是模型可以同時挖掘非語義資訊進行輔助判斷。
過蒸餾，其實還影響到了模型的解釋性，有研究發現，對抗魯棒模型可能依賴語義特征進行推斷，是以具有更好的梯度解釋性。
這兩種虛假相關性擴充到可賴機器學習有哪些啟示？可信賴機器學習大概對應了可信計算的應用層。它有兩個核心的概念：按照預期的目标執行，按照預期的方式執行。按照預期的目标要求任務了解準确，但隻通過訓練資料描述的任務往往不夠全面、準确；以預期的方式執行，要求執行準确，即推斷過程可了解、推斷結果可預測。
如上圖，上述兩個目标和兩類虛假相關性有一個大緻的對應關系。基于兩類虛假相關性可以将視覺資訊劃分為四個象限，而可信賴機器學習希望模型隻利用第一象限的資訊：即任務相關的語義特征。
我們提出一個可信賴機器學習架構，以最終讓模型依賴任務相關的語義特征。有三步，第一步是傳統的訓練器，目的是在測試資料可以泛化，學到任務相關的特征，這部分特征可以滿足不需要和人進行互動的系統應用場景。第二部分是解釋器，目标是人可以了解，從任務相關特征進一步提取出面向語義的特征，可以同時滿足和人的互動；第三部分是算法測試，目标是評估真實性能+診斷發現bug。我們注意到，把機器學習當成軟體系統的話，其實缺少了軟體工程裡成熟的測試和調試的子產品，引入測試子產品，能進一步針對性地發現模型中利用的兩類虛假相關特征，與訓練器和解釋器形成閉環，通過測試-調試共同保證機器學習算法從實驗室級向工業級的可信賴應用。在這一架構下，我們對應在三個階段探索了一些基礎問題，并圍繞視覺識别、多模态預訓練、使用者模組化等應用場景開展了一些研究工作，這些工作我們整理成開源代碼包供調用，并會內建到一個統一測試-診斷-調試平台上，将作為工具釋出，以供對可信賴性有需求的算法設計、開發和使用人員使用。
3
失而複得：虛假相關性的統一和非語義特征學習
根據以上的讨論，圍繞非語義特征，實際存在兩個沖突。一是“棄之可惜，用之不可信”。非語義特征丢掉很可惜，但拿來用又有風險。有用之處在于：模型可以利用非語義特征輔助推斷，完全移除非語義特征使模型泛化性下降。風險在于：使用非語義特征的模型存在對抗魯棒性、解釋性等機器學習的可信賴問題。
第二個沖突是：機器學習能力“超”人 ，但學習目标和方式“類”人。非語義特征包含了人類難以感覺、機器可以利用的資訊，而學習目标和方式是類人，比如深度神經網絡受人類視覺系統啟發，包括階層化網絡結構、感受野逐層增加、簡單細胞、複雜細胞等。
圍繞“棄之可惜，用之不可信”沖突，以泛化性和對抗魯棒性為例，它背後代表的是兩類虛假相關性之間的沖突：泛化性的提高很大程度上來自非語義特征的利用，而在目前訓練範式下，限制非語義特征會影響泛化性。
有沒有可能将兩類虛假相關性進行統一？我們提出一個假設，對抗魯棒性問題不是因為模型利用了非語義特征，而是因為沒有很好地利用非語義特征，非語義特征在提供有限泛化性貢獻的同時，增加了被對抗攻擊的風險。
我們也從頻域入手，暫且将高頻資訊大緻對應非語義特征。如上圖，相比中低頻，特征提取後，高頻分量的類間距比較小，對最終分類的貢獻也就比較弱。而實際上，在特征提取前，原始圖像的高頻分量中存在着相當的類判别資訊。如下圖，原始圖像不同頻率的HOG特征分布情況，右邊是高頻，左邊是中低頻。
經過特征提取之後，可以明顯看出：高頻資訊被抑制了，而中低頻經過特征提取得到了增強。這告訴我們，高頻資訊對于模型泛化性的貢獻是有限的。
但是和對抗魯棒性有很強的關聯性。如上圖中間是無目标對抗攻擊過程的動圖，可以看出對抗攻擊有一個階段明顯沿高頻分量的分布方向移動，換句話說，高頻分量很可能引導了對抗攻擊在特征空間的行為。
這裡我們有一個初步的假設，對抗攻擊過程可能分為兩個階段：第一階段，它會尋找正交于資料流形的決策邊界，并跨過類決策邊界；在第二個階段對抗攻擊繼續向目标類中心集中。我們最近發現這個假設和兩個階段互資訊的變化有很強的一緻性，後續有進一步的結果，我們會專門進行介紹。從這個角度來看，高頻資訊代表的非語義特征，在模型訓練過程中并沒有得到重視，非語義特征不是天然容易被攻擊，隻是它沒有被學習得很好，導緻了對抗攻擊有機可乘。
圍繞“能力超人，學習類人”沖突，對于非語義特征的學習和提取，可能要差別對待單獨設計。這裡以受人類視覺處理系統的階層化網絡設計為例。今天的CNN設計，嘗試借鑒逐層的網絡結構，包括感受野逐層變化。如上圖可視化的呈現，相比中低頻特征，高頻特征逐層差異小、感受野相對固定幾乎是全局的。我們初步的實驗發現，淺層、大卷積核更有利于高頻特征學習。
最後，人類為什麼會聚焦語義資訊，而忽略非語義資訊？我們“猜測”是進化的低成本目标所緻。一個是學習代價小：人類的學習首先通過群體大資料積累形成結構先驗，然後個體小樣本遷移，進而能夠舉一反三。上圖的實驗中我們發現高頻特征的學習需要消耗較多的樣本，在典型的小樣本學習設定下，模型無法實作良好拟合。另一個是推斷代價小：完成一個任務所需要調用的神經元盡可能少，然而我們發現高頻神經元總激活消耗大且不同高頻神經元激活的差異大造成使用率低。高頻特征處理的這些特點都和生物神經系統的低成本進化方向是相違背的。
我們知道AlphaGo的能量消耗相當于一個人的5萬倍，如果我們抛開對于低成本的限制，對于非語義特征的學習和提取似乎也應該突破“類人”的限制。這啟發我們根據所處理資訊的特點，重新設計模型結構；參考其他生物神經系統，啟發設計模型結構等。如果我們認可非語義特征的存在，機器學習關于資料集、模型結構、損失函數、優化方法等的先驗假設是否都存在着新的了解和可能？同時，如何平衡類人和超人以避免非語義特征在現階段帶來的不可信賴風險？如果是需要人了解/互動的任務，我們希望是“類人”方式，定義好邊界；如果是需要新知識發現的任務，就可以允許“超人”，大膽探索人所不能。當然，也有可能，對于非語義特征，隻是目前不可了解，希望通過更多人投入相關研究，我們了解了背後的原理和機制後，不僅能可靠地利用這些資訊設計機器學習算法和系統，更能拓展和提高我們自己的認知。
雷峰網雷峰網