作者 | Don
編輯 | 王晔
推動認知人工智能，不僅需要“感覺”也需要“認知”。
在2021年中國人工智能大會（CCAI 2021）上，焦李成院士做了主題為《類腦感覺與認知的挑戰與思考？》的學術報告。
本次報告首先對人工智能的發展經過進行了反思與梳理，在此基礎上面向認知模組化、自動學習和漸進演化這三個主題，彙總了其研究組近幾年在相應領域的多項成果。
焦李成，工學博士，教授，博導,歐洲科學院外籍院士，俄羅斯自然科學院外籍院士。主要研究方向為智能感覺與量子計算、圖像了解與目辨別别、深度學習與類腦計算。現任西安電子科技大學計算機科學與技術學部主任、人工智能研究院院長、智能感覺與圖像了解教育部重點實驗室主任、教育部科技委學部委員、教育部人工智能科技創新專家組專家、“一帶一路”人工智能創新聯盟理事長，陝西省人工智能産業技術創新戰略聯盟理事長，中國人工智能學會第六-七屆副理事長，IEEE/IET/CAAI/CAA/CIE/CCF Fellow，連續七年入選愛思唯爾高被引學者榜單。研究成果獲國家自然科學獎二等獎及省部級一等獎以上科技獎勵十餘項。
以下是演講全文，本文進行了不改變原意的整理。
目前，神經網絡和深度學習快速發展，在這個新興的領域中，最核心并且最引人注目的方向是網絡的優化方法。
本文會分五個部分來和大家進行交流：人工智能和深度學習的關系、後深度學習——認知模組化、自動學習、漸進演化，以及總結。
1
人工智能與深度學習梳理
人工智能誕生距今已有60餘年，在1956年的達特茅斯會議上，麥卡錫、明斯基、羅切斯特和香農等科學家首次提出“人工智能”這個術語，進而标志着人工智能正式成為一門科學，并明确了其完整的學術路徑，也标志了人工智能這一新的領域正式誕生。
他們不僅在讨論中催生了人工智能這一概念，而且具有前瞻性的工作也對後世産生了深遠影響，尤其是對IT領域。
人工智能按照其自然發展的曆史，可以分成四個階段：專家系統、特征工程、語音圖像和文字處理，以及以增強學習、對抗學習、自監督學習、元學習和強化學習為代表性技術的目前階段。
在專家系統階段（1960～1980年），人工智能較為初級，主要依賴的技術是人工設計的規則。在這個階段，人們主要希望人工智能系統能夠進行搜尋工作。
在特征工程階段（1980～2000年），人們開始對原始資料進行處理進而提取特征，并使用簡單的機器學習模型進行分類、回歸等任務。
在第三階段（2000～2010年），人們開始對語音、圖像和文字等自然資訊進行處理。在該階段中，人工智能系統會将原始資料和答案标簽輸入深度學習模型。但是基于當時傳統的二值串型結構的機器學習模型無法對如此複雜的系統進行學習進而完成對應的複雜任務，是以AI進入下一階段。
在第四階段（2010～2020年）中，人們将資料交給機器，并希望機器能夠自動在資料中間挖掘其中所蘊含的知識。但是在實際的應用中，系統仍舊依賴人類對模型和資料進行組織編排，進而指導模型進行知識的挖掘。我們雖然希望AI模型能夠自動挖掘知識，但是模型的成功運作很難離開人類的監督和指導。
在這個絢爛的第四階段中，産生了機器證明、機器翻譯、專家系統、模式識别、機器學習、機器人與智能控制等多種領域。雖然他們的核心不同，但都是AI發展第四階段中不可或缺的重要部分。
除了從時間上對人工智能進行梳理外，我們還可以将人工智能按照其核心思想分為五個學術流派：符号主義、聯結主義、行為主義、貝葉斯學派和類推學派。
在人工智能發展初期，這五種學派之間并沒有過多的交融與借鑒，都是各自埋頭苦幹、各自為營，并對自己的應用領域充滿信心。
時至今日，我們發現這些學派其實都是從各自的角度出發對人工智能和機器學習進行闡釋。而人工智能的發展，則需要将這五大學派互相融合借鑒。
IEEE神經網絡先驅獎得主鑒證了人工智能的發展曆程：
Shun-ichi Amari(甘利俊一)提出了神經場的動力學理論，特别在資訊幾何方面作出了奠基性的工作。
Paul J Werbos，他1974年在哈佛大學博士畢業。Werbos主要建立和提出了反向傳播算法BP，可以說Werbos是BP算法的第一人。哪怕是如今對深度學習普及影響頗深的Geoffrey Hinton，也是當年和Werbos一起共同研究BP算法小組的成員，他也為BP算法的廣泛使用和傳播做出了諸多貢獻。
Leon O. Chua是一位華裔科學家，人們将其奉為加州大學伯克利EE領域的三巨頭之一。他創立了非線性的高階原件，提出了蔡氏混沌電路（Chua's Circuit），促進了非線性電路理論的發展，掀起了研究非線性電路的熱潮，為混沌從理論走向實際做出了卓越貢獻。此外，他還提出了CA細胞神經網絡，在世界上的影響力巨大，是華人的驕傲。很多雜志曾經介紹過他的CA、混沌電路等科學發現。至今，他仍活躍在中美科學交流的一線。
Fukushima是神經認知的提出者。Oja是芬蘭的科學家，也是“子空間”的提出者。姚新老師對進化計算的貢獻非常巨大。王鈞老師也對神經網絡的研究作出了重要貢獻。LeCun在2014年因為其1990-1992提出的卷積神經網絡而獲獎；之後Bengio在2019年獲獎。而今年的獲獎者是廣東工業大學的劉德榮老師，他也是前任IEEE Trascations on Neural Networks, TNN的主編。
曆經70年發展，神經網絡也進入到了一個新的階段。從技術上來說，他有别于純粹的“喂資料”的傳統方式。其實從宏觀上來講，簡單的基于BP算法的資料訓練方式已經成為過去時。
如今我們面對的是海量、有噪聲、小樣本、非平穩、非線性資料的表達、學習和解譯等場景和問題。這和傳統的方法有很大差別。
人工智能已經經曆了從“特征工程”、“特征搜尋”到現在的“表征學習”和“學習解意”的新階段。這為計算機視覺領域帶來了大資料驅動的表征學習、識别和優化的新範式。
神經網絡的學習包含很多因素。其中最根本的是科學問題的研究；再者是學習理論的了解，包括表示理論、優化理論、泛化理論。其算法基礎不僅僅是網絡模型結構本身（如CNN、自編嗎、RNN、GAN、Attention等深度學習結構組合），更是其背後的機理，生物機理、實體原理。當然，也包括提升算法有效性和可行性和線上處理的計算方法。
模型的優化方法對神經網絡起着十分重要的作用。優化不僅是以傳統的梯度為基礎的體系發展。其中應用最多的是以全局達爾文、局部拉馬克為首的自然啟發的計劃算法，但該類算法要面臨諸多問題，如随機、正交和收斂等。當然，從資料基礎本身來講，系統也面臨着要和資料比對的增廣、領域自适應處理、歸一化等問題。此外，我們現在擁有了很多強有力的平台基礎架構技術，比如Pytorch、Tensorflow、Keras和Caffe等。
但是，深度學習也面臨了諸多難題，包括其自身理論或技術中的固有缺陷（非線性、小樣本、噪聲等問題），以及現實人工智能問題面臨開放的變化環境。這些瓶頸問題需要在理論上進行解決。首先，我們需要研究問題的闡述方法，來解決特征和決策間不明的關系和解釋的優先級問題；此外，我們還要解決認知上的缺陷，即概念的抽象、自動學習、漸進學習、直覺和遺忘等；當然在學習的瓶頸問題中，收斂的一緻性、穩定性、梯度駐點屬性等數學問題也需要攻克。
目前來說，研究員們還沒有針對可解釋性的系統化的理論和解決工具。
我們可以将可解釋性的研究分成三類：
首先，我們可以在模組化之前對資料的分布特性進行了解和闡述。
其次，我們可以通過建立規則的方式來實作對模型的可解釋性的探索。
最後，我們可以在模組化之後，對模型的動作和功能（包括模型的生物機理和實體機理）進行有效的系統研究和解釋，這是一種更加宏觀的方法。
理論缺陷：不穩定性
在不穩定梯度的問題上，梯度消失和過拟合缺失問題困擾人工智能算法已久。我們通常會通過制定損失函數和範數等方法對其進行解決，但是該問題并沒有是以而徹底解決。神經網絡存在長時記憶和短時記憶，是以它也存在着災難性遺忘的問題。這些災難性遺忘的理論表征、學習方法、選擇性遺忘和動力學空間的設計也是一個重要的課題。
人們所設計和部署的神經網絡模型，會在很複雜的環境中運作和工作，并且這些環境中有人類的參與。是以，它們是在一種開放和動态的環境中運作的，在這種環境中可能存在多種攻擊（黑盒、白盒、灰箱）。
那麼其安全性就是一大問題。是以，神經網絡在對抗攻擊環境中的自我防禦，也是一項重要的課題。
算法的效益比（即部署的代價）是一項在部署前要考慮的重要問題。我們希望設計一種綠色、資源可優化的軟硬體環境。并希望算法能夠利用稀疏化方法，使其體積輕量化。是以，利用關鍵樣本和小樣本的學習就顯得尤為關鍵。
小樣本學習所面臨的問題可以分為模型、度量和優化三個方面。
其中模型的問題在于如何利用稀疏性、選擇性和可變更新來建立穩定的模型。
度量的問題在于如何用對實際的資料集因地制宜的設計度量方法，進而使網絡學習到最佳參數。
優化的問題在于通過調整優化方法來完成海量小樣本的分類、回歸任務。
這是“老同志”遇到了新問題，也是要讓“新同志”加入到人工智能的大家庭中。
此外，還有一些其它的瓶頸問題有待解決。
深度學習的成功嚴重依賴于資料集。成也資料，難題也在資料。是以，高品質資料的尋找和收集，一緻性決策方法的制定是其中的根本症結。而如何解決模型坍塌問題、特征同變性問題、不平衡問題、安全性問題、局部最小值問題，則都是困擾深度學習發展的瓶頸。
2
後深度學習——認知模組化
那麼在後深度學習時代，我們應該如何解決上述問題呢？
我們的思考是——認知模組化。
神經網絡源于腦神經的計算，但是當我們回顧生物學中腦神經的過程會發現，真實的生物大腦中并不是用簡單的計算來實作大腦認知的。
類腦結構中所有的模組化均具有稀疏性、學習性、選擇性和方向性。然而可惜的是，這些自然的生物特性在我們目前的神經網絡設計中并沒有被充分考慮進去。
這是遺憾，也是機遇。
目前的深度學習技術僅利用并行輸入，輸出和海量神經元來解決所遇到的問題。
是以，仔細地回顧人腦的結構，有益于指導研究人員設計出更加優秀的神經網絡結構。
可以說，類腦感覺和腦認知的生物學基礎，為實作高效準确的複雜感覺和解譯提供了新的思路。
神經網絡的思路是：感，知，用。
宏觀上來說，神經網絡模型需要首先對人類的認知特征進行模組化，結合對深層結構、多源綜合的宏觀模拟、神經元稀疏認知、方向選擇的微觀模拟，以及神經元間顯著注意、側抑制等介觀模拟資訊，設計具有稀疏性、選擇注意、方向性等特點的單元，建構新型深度學習模型。通過認知特性的模組化提升對複雜資料的表征、處理與資訊提取的能力。實作這樣的思路則這是我們的重要任務。
總結來說，認知模組化就是對人腦認知過程中地微觀、介觀、宏觀特性進行分析與模拟。
但是我們在該方面的工作還遠遠不夠。
例如，早在1996年就已經有人在神經元的稀疏性方面提出了相應的生理學發現和論著。并且發表在Nature、Science等著名期刊上。這些工作已經面世二三十年了，但是我們至今仍舊未完全将其利用起來。 認知的稀疏性模組化，是我們迫切需要解決的問題。從技術上來說，稀疏性模組化是指模拟基于生物視網膜機理的高效場景資訊稀疏學習、初級視皮層各類神經元動态資訊加工與稀疏計算，以及中/進階視覺皮層神經元特性的稀疏識别特點，發展的稀疏認知學習、計算與識别的新範式。我們已經将這些思想和發現發表在2015年的計算機學報中。
在認知模組化和稀疏性的利用方面，我們将稀疏性的表征和深度學習，以及考慮資料的随機性特征結合起來，提出了多種神經網絡模型。這不僅僅表現在訓練過程的調參、訓練的技巧和性能的提升，更是表現在研究深度學習和各類傳統機器學習模型之間的内在關系，以期了解深度學習的工作原理，建構更加強勁、魯棒的理論架構等方面。
模型稀疏性不光表現在激活函數的逼近，更表現在分類器的設計，也表現在對随機特性的處理上。 我們提出的研究結果，包含了結構的處理，也包含了稀疏的正則化，連接配接結構的剪枝、低秩近似，和稀疏自編碼模型。這些方法在實際的運作中都十分有效。
此外，我們還提出了快速稀疏的深度學習模型、稀疏深度組合神經網絡、稀疏深度堆棧神經網絡、稀疏深度判别神經網絡，和稀疏深度差分神經網絡。在實際中也驗證了這些方法的有效性和先進性。
在類腦學習性和深度學習的結合方面，我們發現人類能夠從少量的資料中學到一般化的知識，也就是具有“抽象知識”的學習能力。我們能希望将這種特性在神經網絡中表示出來。
舉一個典型的例子。
在這項工作中，我們将極化SAR資料的Wishart分布特性和DBA結合起來，同時利用資料局部空間資訊編碼的特性，建立了快速的極化SAR分類模型，其實作效果良好。
其核心是實體的機理和深度學習的模型的結合。這篇文章發表在IEEE Transcation on Geosciences and Remote Sensing上，受到了廣泛關注。
同樣，為了使模型結構更加高效，我們将堆棧和模型進行結合，提出了一種速度快、自動化成都高、魯棒性好的深度學習快速模型。
其通過對目标資料的自動高層語意的特征提取，實作了自動、高效和精準的分類。這篇工作發表在IEEE Transactions on Image Processing上。這項工作的速度很快，因為它能将實體特性結合到深度學習的并行處理模型當中。
我們同樣利用類腦的選擇性進行研究。其生物機理是發表在2011年的Science科學雜志，以及2012的Neuron神經雜志上。它的生物原理表明視覺資訊的加工具有顯著的注意力機制。這個注意機制和人腦的注意機制相同。
人腦中的注意機制模組化會增強概念學習和認知學習的能力。注意力是人類認知功能的重要組成部分。人類在面對海量資訊時，可以在關注一些資訊的同時，選擇性忽略部分資訊。計算機視覺領域的注意力機制和大腦的信号處理機制也是類似的。例如最近大火的Transformer技術，也是類似的原理。
在類腦的方向性結合研究方面，我們所基于的勝利機制發表在2015年的Nature自然雜志上。它指出生物大腦中存在能感覺方向與位置的方向角和傾斜角的細胞。而在人工智能計算機視覺領域中，實際處理的圖像和視訊資訊也都有方向和方位的變化性資訊，它和人腦的背景相同。
在考慮方向性的工作中，我們模組化了幾何結構，設計具備方向性的多尺度張量濾波器。
這項工作在軍用的産品中表現出很好的使用效果。
此外，我們還利用20多年前的多尺度幾何理論，建立了新一代可分解重構的深度學習理論。我們不僅能建構層級的差分特征，也能使不同層級抽象層級的差分特征形成一種新的信号表示，成為一種新的深度分解的重構模型。上述這些工作都是基于多尺度幾何與深度學習的研究曆程和發展慣性展開的。
回顧起來，在90年代初我們便提出了多小波網絡理論，然後提出小波SVM支援向量機，多尺度Ridgelet網絡，再到最近的深度Contourlet網絡。
我們将Countorlet的方向性、逼近能力和卷積神經網絡相結合，進而形成新的工作達到較好的實驗效果。這篇工作也被IEEE Transcations on Neural Networks And Learning System 20錄用。
我們提出的Rigelet網絡，也就是脊波網絡，其自身可以将斑點及波正則化。我們将其與脊波網絡相結合，在SAR圖像的分類場景中達到了極佳結果。
我們還将突觸結構進行了模型研究。突觸是一種生理結構，其具有記憶和存儲等多種功能，而這種功能目前沒有得到完全的利用。我們主要的研究結果包括長時程增強和抑制，它們都是先有工作中鮮有展現的。
為了有效而高效的處理海量的資料，後深度學習時代的另一個問題是資料的自動學習和處理。
學習模式的演化經曆了數十年的發展：從1960年代的淺層神經網絡，到70年代的反向傳播的發現、80年代的卷積網絡，到1990、2000年左右的無監督、監督深度學習的卷土重來，直到現在的網絡模型。回顧該演化曆程我們發現，應該更加努力地研究自适應深度學習。
在自适應深度學習方面，我們還有很多難題和課題需要解決。這些問題在于，我們要在特征工程、特征學習、感覺+決策和環境适應的基礎上，讓機器能夠學會學習，學會适應環境，學會感覺決策。我們不僅要讓機器能夠生成對抗、架構搜尋和遷移學習，更要讓模型能夠自動學習，能夠從結構上進行新的探索。
此圖梳理了國際上的一些深度學習結構和能力上的工作。梳理這些工作的脈絡後，我們可以發現，這些工作都是在解決深度學習中的一些基礎性問題。當然，這也是在建構一些新的處理結構，包括知識與知識的有效利用，與邊雲端的有效結合。
盡管我們有了模型在結構上的發展概況，但自動學習仍舊面臨了很大的挑戰。尤其是在自動确定網絡結構超參數上遇到了相當大的問題。在此問題上，很多人都陷入了超參工程這一領域中。但在我看來，這項工作并沒有太多的科學思考，都是一些“碼農調參”的正常工作。這是最低級、辛苦、低效且無意義的工作。神經網絡的架構搜尋NAS，是解放人力的一種新途徑。我們現在的問題是如何針對需要解決的問題搜尋到最佳的結構。
對于自适應神經樹模型，我們采用了神經網絡與決策樹相結合方法進行組建。此工作最早是由UCL、帝國理工和微軟的研究人員提出的。他們提出了一種雛形的自适應神經樹模型ANT，它依賴于各種資料的模式。那麼對于複雜、活的和變化的資料，應該如何設計一種自适應、快速、可微分、系統可通過BP進行訓練的訓練算法是一項挑戰。
另一個問題是機率生成的确定性推理。在模型學習的過程中，很多時候需要“靈感“。記憶和學習永遠是有效的、可逆的。這不僅是沖突，更是沖突的兩面體。是以我們如何在模型學習的過程中利用這種關系呢？ 同樣，在函數的逼近論下的架構搜尋，我們提出深度泰勒分解網絡來解決求導難的問題。它采用逐層拆解的方法來解決深度網絡過于複雜進而無法求導的問題。
3
後深度學習——漸進演化
後深度學習時代面臨的另一個問題是“漸進演化”。 我們為什麼會提出這個概念？這是因為我們從認知模組化、自動學習，再到漸進演化，不僅是要對場景和裝置的噪聲、非線性變換等脆弱問題進行定位，更重要的是要解決面對海量、小樣本的資料的複雜性所産生的問題。
漸進演化本質是受到了前文所述的人工智能、生物智能和計算智能的啟發。我們希望網絡能夠進行充分的感覺、全面的認知，進而進行感覺和認知協同發展。漸進演化的基本觀點是進行動态進化優化、學習時刻之間的相似性，最終進行領域适應的學習。
也就是将現在以梯度學習為基礎的機器學習算法，和以自然演化的達爾文進化計算結合起來構造高效的算法。這便是漸進演化的基本含義。
人腦的感覺和認知是進化和優化的核心。其中包括權重優化、結構優化、稀疏網絡優化、網絡剪枝方法。他們都依賴于傳統梯度算法和演進計算的結合。是以，我們要在網絡模型和學習算法的結合上考慮協同進化的優化。這是我們需要考慮的重要問題之一。我們也将深度學習算法部署到時FPGA系統當中，并且取得了非常好的效果。
我們再次回過頭來看人工智能的源頭、基礎和創新。這是一項需要從源頭上突破卡脖子技術的研究方向，我們要将生物機理、物化機理、數學機理、算法設計和硬體環境結合起來，來實作從腦科學到認知計算，再最終到人工智能的良性閉環。
其實，深度學習和人工智能的發展也經曆了類似的過程。腦科學的諾貝爾獎、人工智能的圖靈獎和認知科學的諾貝爾獎的重要發展，都是人工智能發展的基礎。
是以，腦科學、人工智能和認知科學的有機結合是人工智能下一階段發展的重要方向。
從類腦感覺到認知的人工智能，要求我們不光要對事情進行感覺，更是要進行認知，而且需要學會思考、決策以及行動。這涉及到心理學、哲學、語言學、人類學、人工智能和神經科學等多種學科。
謝謝大家。
雷鋒網雷鋒網