關注風雲之聲
提升思維層次
導讀
在《科學之路：人，機器與未來》新書分享會上，袁岚峰、黃鐵軍、劉知遠與2018年圖靈獎獲得者楊立昆就“AI是技術還是科學、人工智能的生物啟發”等話題進行了高屋建瓴的探讨。
在《科學之路：人，機器與未來》一書中，圖靈獎得主，卷積網絡之父楊立昆（Yann Le Cun）提出，在科學史上，技術産品的出現往往先于解釋其工作的理論和科學。發現智能工作的潛在機制和原理，是他未來幾十年的研究規劃。
嘉賓介紹
楊立昆（Yann Le Cun）：圖靈獎得主，卷積網絡之父，Facebook首席人工智能專家，紐約大學教授；
黃鐵軍：智源研究院院長，北京大學計算機學院教授；
劉知遠：清華大學計算機科學與技術系副教授、智源青年科學家；
袁岚峰（嘉賓主持）：知名科學科普部落客，“科技袁人”節目主理人，中國科學技術大學副研究員。
智源社群針對訪談核心内容進行摘錄，并進行了不改變原意的整理。
對話整理：李夢佳 周緻毅
01
神經網絡的誕生——反向傳播算法的前世今生
（首先，楊立昆介紹了神經網絡和反向傳播算法的誕生曆程）
楊立昆：人們認識我大多源自于卷積神經網絡。這種模型是一種組織神經元之間的連接配接，并将神經元組織成多層結構的特殊方式，其靈感來自哺乳動物的視覺皮層結構。這種模型結構非常适合于圖像識别甚至醫學分析等領域的應用。
比如，現在車輛的擋風闆上都有感應攝像頭，能識别到汽車前方的障礙物，及時自動停車，避免碰撞。現在的大屏電視，可以從低分辨率信号中擷取高分辨率視訊。這也被用于醫學中的惡性良性腫瘤自動檢測系統，如拍X光片和核磁共振等醫學成像技術。這些都是源于卷積神經網絡。我參與發明的技術無處不在，甚至可以挽救生命，這是我引以為傲的事情。
其實神經網絡最初的想法來自上世紀60年代Hubel和Wiesel在神經科學領域的經典著作。上世紀七八十年代，日大學學家福島邦彥，建構了首個基于無監督學習的卷積神經網絡，但當時還沒有反向傳播算法，訓練效果受到一定局限。
而我和同僚們是第一批成功實踐了卷積神經網絡的人（即楊立昆1988-1989年期間在貝爾實驗室提出LeNet）。當時沒有PyTorch、TensorFlow等工具，需要自己寫深度學習環境，也沒有Python，需要寫自己的語言進行互動。當時也沒有Linux和Windows作業系統，需要使用昂貴的平台來處理圖像系統。是以，當我們付諸心血來建構能實作它的工具，并精心設計結構使其奏效之後，便開啟了一種新的技術突破。在我看來這項突破并不算知識突破，因為站在知識的角度上，其原理早已存在。
楊立昆在貝爾實驗室期間提出LeNet
反向傳播算法是深度學習的基礎優化算法。這種算法的設計思想與上世紀60年代提出的現代控制理論中的最優控制理論有關，是以其基本思想非常古老。除了鍊式法則，它不需要任何複雜的數學公式。在一個諸如神經網絡這樣的多層結構中使用鍊式法則的想法，直到20世紀80年代才萌生。在接下來的10年中，人們又由于理論晦澀而對反向傳播失去了興趣，認為這種算法沒有前景，即使事實恰恰相反。從21世紀初到2010年代，我和Geoffrey Hinton、Andrew Ng等人花了很大功夫才讓業界相信這行得通：這不是僥幸，也并非意外。
袁岚峰：在《科學之路》中，你提到曾發明了一個名為HLM（Hierarchical Linear Model）的模型，雖然結構很簡單，但因為使用了非連續函數，是以距離深度學習僅一步之遙。如果你改用Sigmoid或其他連續函數，模型是不是就可能成功？
楊立昆：是的。當時我之是以堅持使用二進制神經元，是因為當時的計算機運算速度沒有如今這麼快。是以我認為如果使用二進制神經元，就可以大大縮減運算時間。為了能夠實施反向傳播，我認為每個神經元可以反向傳播目标輸出，而不是其中間變量。但結果表明，為了能夠有效地更新模型參數，依然需要連續型變量。是以在當時的情況下，HLM距離正确方法确實隻有一步之遙。
02
AI：技術or科學？
黃鐵軍：我認為AI首先是技術，而不是科學。AI研究人員需要做的是建構、設計強大的智能系統。如果系統運作良好，我們再去嘗試探究系統運作良好的原因，這才是科學。是以我的觀點是，AI首先是技術，之後我們再去研究原理和系統，這也是我在您書的中文譯本序言中闡述的基本觀點。是以我想就這個問題與您交流一下。
楊立昆：在我看來，AI的首要屬性是創新性，即構思并設計一種新産品、新系統和新想法，确實是一種創造性的行為。這是工程領域的工作，就像藝術家們的事業一樣。而科學家所要做的是提出描述世界的新概念，然後使用科學方法研究解釋系統的原理，這也是AI的兩方面。研究AI，既是一個技術問題，又是一個科學問題。
終極問題是，我們要試圖弄清楚智能是什麼。我們不僅需要建構人工智能系統來進行視覺和自然語言了解，還需要了解智能的本質。以蒸汽機為例，新發明會推動理論研究。在科學家們發明蒸汽機百餘年後，熱力學誕生了，而熱力學本質上是所有科學或自然科學的基礎。是以，我們在AI中發明的人工制品可能是科學或智能本身，或者說這是我們的願景。
黃鐵軍：你在書中分享了一些例子，1903年的萊特兄弟，以及更早期的克萊門特，他們發明了飛機。三十多年後，西奧多·馮·卡門發現了空氣動力學理論。在這個例子中，飛機的發明與空氣動力學至少是同等重要的。是以對于人工智能來說，例如深度學習效果很好，它是一項發明，一種貢獻，是一個非常強大的人工智能系統。當然，我們需要探究深度學習為何如此有效，但那可能是很多年以後的事了。也許二三十年，甚至更多年以後才能有所發現。作為BAAI的院長，我認為，需要有人探究人工智能系統的原理。與此同時，可能也需要更多的人來設計更強大的系統。
03
關于生物啟發智能
楊立昆：我了解到BAAI也研究人類大腦的結構，試圖了解大腦的運作機制。就功耗而言，現在大腦的效率遠高于計算機的效率。假設要使計算機達到人腦的算力，能耗可能是人腦的一百萬倍，但這并不意味着計算機可以複制大腦所做的事情。
大腦的能耗量隻有25瓦，相當于一塊普通GPU。人腦究竟是如何做到的呢？生物學給了我很多靈感，好比卷積神經網絡的靈感來自視覺皮層的架構。但是，正如我在《科學之路》之中提到的，如果科學家太依賴生物學，在不了解基本原理的情況下試圖複制生物現象的一些細枝末節，那将難以建構準确有效的系統。
我舉個例子，19世紀後期法國航空業的先驅克萊門特·阿代爾是一位出色的工程師，他制造的飛機實際上在19世紀90年代就可以靠自身的動力起飛，比萊特兄弟早了30年。但是他的飛機形狀像一隻鳥，缺乏可控性。是以飛機起飛後，在離地面大約15厘米的高度，飛行了15米就墜毀了。究其原因，是他隻考慮到了仿生但沒有真正了解其中的原理。
阿代爾的飛機充滿了想象力，在引擎設計方面他是個天才，不過由于缺乏空氣動力學的理論支撐，他的設計終究沒有走遠。是以對于試圖從生物學中獲得啟發的人來說，這是一個有趣的教訓，我們還需要了解基本原理是什麼。生物學中有很多細節是無關緊要的。
黃鐵軍：我同意你關于生物啟發或者大腦啟發的觀點，隻是有一點不同，關于大腦的原理，腦科學家們已經探索了至少100年。但是對于AI，每十年或者二十年就可以有新設計。對我來說，生物學的啟發就是視覺皮層的結構，來啟發我們去設計一個新的ANN結構，參考神經元突觸等的原理，并不一定是全腦的理論。我們基于可用的資源去設計人工神經網絡，這就是我們在BAAI所做的事情。
楊立昆：這個問題其實是是否使用脈沖的問題。現在的人工神經網絡，基本上神經元的輸出是通過數字編碼的，用數字表明它們的活動。但是大腦中的神經元不輸出電壓或類似的東西，它們輸出脈沖信号。這種輸出的強度被稱為脈沖頻率，是以其中一個問題是，像大腦一樣使用脈沖信号是否重要，而不是像目前在人工神經網絡中那樣隻用數字來表示。
很多人都會有這種疑問，有些人認為我們應該使用源于硬體設計的脈沖，因為就軟體的能耗而言，脈沖信号傳輸更經濟，即使速度較慢。
以脈沖神經網絡為例，所有的人都認為它有魔力。大家不懂其中的原理，僅僅是因為大腦使用脈沖，就在神經網絡中引入脈沖信号，我不認同。況且，現在性能最優的神經網絡并不使用脈沖信号進行傳輸。這是我對是否應該從神經生物學中獲得更多啟發的回答。
黃鐵軍：關于這一點，我想和您分享一個我引以為傲的事情。我的一個博士生近期發表了一篇關于視網膜編碼原理的論文。她設計了基于CNN的神經網絡來模拟人類眼部的活動。這是截至目前最好的一個模型。我的團隊正在設計一款“超高速脈沖相機”。
超高速脈沖相機
楊立昆：我知道，這是上世紀80年代末和90年代初的熱門話題，一種基于脈沖的模拟電路，可再現神經元的功能，采用脈沖神經網絡來編碼資料。這一課題一度陷入低迷，但因為人們對用于AI和神經網絡的低功耗硬體很感興趣，現在又重新回歸了。至于它相較傳統應用的優勢，我認為還需數年的研究來證明。當然在這一領域還需要大量工作。
有趣的是，對于所有脊椎動物來講，視網膜都是大腦的外延。眼睛收集光線，而視網膜必須壓縮通過眼睛的資訊。因為将視網膜連接配接到大腦的神經必須經過一個眼球部位，那裡是生理盲點，視覺纖維彙集向視覺中樞傳遞的出眼球部位（無感光細胞），如果那個位置在你的視野中，不能引起視覺，你什麼也看不到。雖然大腦會收到資訊，但實際上在那你什麼也看不到。
視網膜大約有五千萬到一億個感光細胞，但視神經與大腦的連接配接隻有一百萬個，是以在傳輸圖像之前，必須在視網膜中進行大量的預處理和動态壓縮。
這是進化中的錯誤。所有的脊椎動物都是這樣。但無脊椎動物不是。章魚和鱿魚的視網膜後面有神經，是以它們沒有這個問題。這是更好的設計。與脊椎動物相比，無脊椎動物的進化更加幸運。是以我們可以問自己一個問題。如果要重制與人類具有相似性能的視覺系統，我們要解決在視網膜和大腦之間傳輸的資訊瓶頸嗎？有神經科學家正在建立網絡模型，來處理視網膜和大腦之間傳遞的資訊。這是我對進化的看法。生物學也并非絕對正确。就這一方面來看，脊椎動物有點不走運。
黃鐵軍：是的，我完全同意。實際上，我的學生設計了一個模型來模拟視網膜功能，這是從生物學角度入手的。同時我自己的團隊設計了一個照相機。如你所說，相機設計不在乎輸出帶寬，是以輸出光纖會将動作電位高速傳向計算機。我們在同時進行這兩項設計。
04
如何看待大規模NLP預訓練模型
劉知遠：近幾年，我們見證了機器學習方法從監督學習到自監督學習的成功發展。我們可以在預訓練的語言模型上使用大量無标簽資料進行微調，而參數量也增長到上千億級别。我很好奇你對這種大規模預訓練語言模型的看法？
楊立昆：人工智能界在過去兩三年中産生了重大變革，一種新型的神經網絡架構——Transformer問世。實際上，這種架構類似于記憶子產品，當給模型輸入一連串向量，其可以産生另一個關聯的向量，通過查詢恢複相關的記憶。
是以Transformer是大量相關記憶子產品以特定形式排列的架構，這種架構可以将訓練資料中所包含的資訊挖掘并存儲下來。當一串文字輸入到經過預訓練的Transformer模型中，可以使其預測下一個單詞。這些模型具有少則數十億，多則上萬億的巨量參數。采用非常豐富的資料來源，資料量十分驚人。這就相當于給模型賦予了一些以文本編碼的人類知識，使其學習到人類世界的先驗資訊，而這些先驗知識的内容往往又極其豐富，是以模型在處理自然語言方面常常能有令人驚豔的表現。
諸如Transformer這種大規模自然語言處理預訓練模型的使用，标志着自監督學習的方法在深度學習領域開始引領革命的旗幟。和傳統監督學習、強化學習等機制不同，自監督訓練一個模型不是為了完成某一特定任務，而是為了訓練其了解資料的能力。是以這種學習方法的運作方式是，去除句子中10%-15%的單詞，訓練系統預測缺少的詞彙。在這個過程中，系統開始建構對文本含義的了解。
舉個例子，如果将“貓在廚房追”作為模型的輸入去預測下一個單詞，那麼答案應該是老鼠或者其他小型動物，因為這樣的預測符合現實世界的邏輯。而如果将“獅子在大草原追”作為模型的輸入，那麼輸出就應該是瞪羚或其他草食動物。雖然根據這些有限的資訊，模型可能無法準确得出具體在追什麼，但是由于存在貓、獅子、廚房以及大草原這些資訊作為先驗，模型可以預測出一個大緻的範圍。而如果僅僅給模型輸入“XX在XX追”，由于缺少行為者和具體的場景，模型将很難判斷空缺位置應該填入什麼。
是以說，這種基于大規模預訓練模型的自監督學習，就是給系統注入了人類世界的先驗知識，使得在處理語言任務時，能夠聯系輸入向量的上下文資訊做出合理判斷。而這種自監督學習方式，也是對自然語言處理任務的巨大變革。
05
關于自監督學習
劉知遠：您将預訓練語言模型稱為一場變革。您認為預訓練模型或者自監督學習是實作人工智能終極目标的方式嗎？如果是的話，我們應該如何提升自監督模型效果？
楊立昆：我的答案是肯定的。我認為現在人工智能的一個巨大機遇就是從人類和動物身上學習經驗，最好的範式就是自監督學習。自監督将變革人工智能，并讓人工智能取得更大的進步。這種學習方式使得人們可以使用少量資料就能進行模型訓練。當需要系統完成特定任務時，不需要過大的資料量，隻需要按照現有的監督訓練方式标記資料即可。
一個小孩出生兩個月内，學會了基礎的事情，比如世界是三維的，物品擺放有前後方位之分，身邊的每個方向都有相對的距離。這些是很簡單的概念。之後，他學會了即使是在目光所不及的地方，物體仍然存在。這就是所謂的事物的永久性。到八、九個月時，他學會了如果物體沒有支撐，就會掉落，重力對每個物體都有影響。在出生後的九個月裡，小孩學會了很多基礎的環境知識，了解了世界的運轉方式。他們在大腦中建立了對世界的認知模型，使得他們可以預測即将發生的事情，了解世界，區分動物和靜物，弄清楚如何移動物體、如何組裝零件。
在我看來，這種學習機制與自監督學習十分相似，但卻和我們現在使用的監督學習、強化學習迥異。我認為，研究大腦的學習原理是更有效的途徑，我們去複制學習的原則而非直接再現大腦的功能，因為大腦過于複雜。圖靈在二十世紀五十年代就曾說過，如果想創造智能機器，複制小孩的大腦比複制大人的更合理，因為機器可以學習并自我進化。
06
寫作《科學之路》的動因
袁岚峰：我代表大衆問一個問題：你為什麼要寫這本書？
楊立昆：原因很簡單，因為有需求。人們見證了生活被人工智能改變，也意識到未來将有更大的改變。是以對大衆而言，了解人工智能的一些知識是很重要的。這本書分為三個部分。第一部分是曆史，解釋了基礎概念，講解神經網絡和深度學習的發展；第二部分講述數學、算法和計算機科學的基礎原理，讀者不需要具備相關的知識儲備，僅具有高中及以上的水準就可以讀懂；最後一部分是人工智能在今天的應用，包括機器翻譯、内容稽核、計算系統等，還介紹了未來的發展趨勢，探讨人工智能到底在研究什麼。這一部分裡我所講述的是我的主觀觀點，而并非是業内專家們的共識。人工智能對社會可能存在的影響有哪些？潛在應用有哪些？我在本部分表達了我對未來的觀點。
總而言之，第一和第三部分所有讀者都能讀懂，而如果你想了解其中的原理、獲得一些靈感的話，可以閱讀第二部分。之是以加入第二部分是因為，回想我自己的學生時代，對人工智能很癡迷，但當時的人工智能還處在萌芽階段。對于一個初學者來說，很渴望的是一本簡明扼要介紹基本原理的書，而非一本全是晦澀概念的書。
是以寫作這本書的另一個目的是啟發青年學生，讓他們更多地了解人工智能，因為這是一個充滿吸引力且重要的領域。
07
如何看待中國的人工智能研究
袁岚峰：最後，您有什麼話想對中國讀者說嗎？
楊立昆：在我看來，中國年輕人對人工智能熱情高漲。而且不僅是年輕人，政府也對投資、研究和部署人工智能很重視。過去的幾十年裡，中國的科學界非常活躍，取得了令人難以置信的成就，而其中最為出色的領域之一就是人工智能和深度學習，計算機視覺頂會中有一半都是中國的論文。
另外，我對于技術應用很樂觀。不過與此同時，我們也應認識到，人工智能是一把雙刃劍，利弊取決于如何使用。在中國、歐洲和美國，人們對于在社會中使用和接受人工智能的看法也不一樣。錯誤地使用人工智能會侵犯隐私。我們需要重視如何在國家層面建構法律體系和政策或商業法規等，保護公衆免受人工智能的負面影響。當然，這個過程需要一些時間的沉澱。