【新智元導讀】目前，還沒有人能夠真正了解深度網絡在目标分類任務方面的運作方式和原理。主要原因是對深度網絡在分類任務中所做的“工作”還沒有一個很好的衡量标準，一篇最近發表的關于“通用感覺流形”理論的論文試圖解決這個問題。
這篇論文于7月5日發表在《Phisical Review X》上，題為《Classification and Geometry of General Perceptual Manifolds》。論文作者為哈佛大學工程和應用科學系的SueYeon Chung, 賓夕法尼亞大學工程與應用科學系的Daniel D. Lee以及哈佛大學大腦科學中心的Haim Sompolinsky。
用統計力學了解機器學習，分析分層網絡的表示
文章提出，當神經元群對與相同感覺目标的不同實體特征（如方向、姿勢、規模、位置和強度等）相關的感覺信号集合做出反應時，就會出現感覺流形（Perceptual manifold）。對目标的識别和區分需要以對流形内部變化不敏感的方式對流形進行分類。神經元系統對不變目标的分類和識别是大腦理論和機器學習中的基本問題。
文章研究讀出網絡（readout network）從其流形表示中對對象進行分類的能力，開發了一種統計力學理論，用于對任意幾何形狀的流形進行線性分類，并表明該理論與圓錐分解在數學上顯著相關。文中表明，位于流形上的特殊錨點可以定義半徑和次元的新幾何學量度，這可以解釋各種幾何形狀的流形的分類能力。
這個通用理論已經在許多有代表性的流形上得到證明，包括典型的嚴格凸流形的l2橢圓體流形，代表具有有限樣本的多面體的l1球流形，以及代表由于調節連續自由度而産生的非凸連續結構的環狀流形。同時我們也闡明了标注稀疏性對一般流形分類能力的影響，表明了标注稀疏與流形半徑之間存在廣泛的比例關系。文章使用新開發的算法計算多種二分法的最大邊際解，通過數值模拟證明了理論預測。此文提出的理論及其擴充提供了一個強大而豐富的架構，可用于将線性分類的統計力學應用于由感覺神經元響應産生的資料以及針對目辨別别任務訓練的人工深度網絡中。
我們的大腦能夠準确地對我們看到的物體進行分類，就算這些不同的物體的屬性參數（比如亮度、形态和背景特征）彼此間存在巨大差異，對大腦而言也往往不成問題。機器學習的最新進展已經産生了與我們的大腦具有相似能力的神經網絡。然而，對生物和人工智能系統為何能達到如此高的識别準确性，研究人員對此問題在數學上還不夠了解。本文展示了如何使用統計力學理論來解釋這個問題的基本原理，這些原理是神經回路面對巨大的實體上可變性時，仍能具備識别和區分目标的能力的基礎。
本文将特定對象的神經表示中的可變性經幾何模組化為流形。在網絡的特定階段能夠被成功分類的流形數量的增長與神經表示的次元成正比，但具體比例取決于流形的形狀。我們的理論可以分析在網絡中變化和傳導的流形表示的結構，最終将其成功分類。
本文提出的理論利用圖形學量度來描述神經流形的形狀，這些量度能夠預測何時可以分離篩選出随機标記的流形集。這些測量導緻了具有任意幾何形狀的流形的數量，并且可以有效地計算;我們用它們來分析神經反應的原型流形模型。
本文提供了一個新的理論架構來了解和分析由分層神經網絡形成的表示，可能會促進關于感覺系統如何有效地編碼和處理感官資訊的新見解。
長期以來，感覺學習的統計力學理論為了解單層神經架構及其核心擴充的性能和基本局限性打下了基礎。然而，以前的理論僅考慮了不存在圖形架構的、有限數量的随機點，并且無法解釋由于實體參數變化引起的可變性增加，而呈現為不同流形的大規模、可能是無限數量的輸入時，線性分類器的性能下降問題。本研究中提出的統計力學理論，可以解釋一般流形的線性分類的能力和局限性，并用于闡明層次感覺系統中神經表征的變化。我們相信這一理論的應用及其推論的擴充将為人們如何有效地編碼和處理感官資訊的感覺系統提供新的見解。
識别流形的通用理論：哪種網絡條件可以識别出流形
此文在Reddit論壇的機器學習闆塊引發了一些很有意思的讨論。不過，Reddit上有小夥伴表示論文的專業用語讓他看起來“就像個5歲小孩，求大神解釋”。下面有好幾位熱心觀衆用比較通俗的用語和示例對此文給出了自己的解釋。
比方說，你平生第一次見到一隻貓，即使這隻貓離你很遠，又蜷曲着身子，但從它的體型形狀上判斷，仍然能夠知道這是隻貓。這篇論文提出的方法，就是要教會機器也掌握類似的識别方式，從目标的幾何形狀上來猜測，這是什麼東西。也就是說，給計算機看一堆圖形，然後讓它猜測剩餘部分是什麼樣子的，而不用從每個角度來觀察目标。
其中一位ID為“Hanmilton”的壇友給出了比較系統和詳實的回複（如上圖）。他首先聲明，自己并不是這篇論文的作者，但曾有幸聽過作者之一的學術報告。他認為，這是一篇偏數學的論文，但其結論是頗具“革新性”的，接着在留言中從研究背景、重要性、應用意義上對文章進行了概述和分析。新智元對相關内容做了編譯，一起來看看：
他表示，論文中的圖1（下圖）基本上提供了關于神經空間中“流形”概念的啟發性觀點。在神經空間中，我們對一隻貓或狗的每個觀察的方向/角度/位置變化都可以視作一個由神經元放電頻率構成的平面或“流形”。圖中藍色對應為狗，粉色對應為貓。如果這兩個區域沒有交集，神經網絡就能夠分辨出貓和狗。
他認為，對目标的“神經流形”表示是深度網絡了解目标和大腦識别/看見目标的架構。
2．論文其餘部分是建立一個通用理論，告訴你哪種網絡條件可以識别出流形，哪種則不能識别。比如，你什麼時候能分辨出貓和狗，什麼時候分不出來。論文中花了不少的篇幅來建構關于流形如何存在于子空間内的理論架構，如何用數學來描述（如下圖）。
- 文章表明，該理論可以根據流形的特點來預測哪些流形可以識别，哪些識别不出。可以看到，在給定的次元上（比如D=20），随着半徑的擴大，可識别度會下降，也就是說，這能夠顯示出在給定資料下所建構的網絡的極限。
相關連結：
https://www.reddit.com/r/MachineLearning/comments/8zjnuu/r_a_new_theory_to_analyze_neural_manifolds_in/ https://journals.aps.org/prx/abstract/10.1103/PhysRevX.8.031003論文原文：
https://journals.aps.org/prx/pdf/10.1103/PhysRevX.8.031003原文釋出時間為：2018-07-21
本文來自雲栖社群合作夥伴新智元，了解相關資訊可以關注“AI_era”。
原文連結：
【深度學習再突破】讓計算機一眼認出“貓”：哈佛提出新高維資料分析法