6 月 29 日，台灣大學。卷積神經網絡之父、facebookai 研究院院長 yann lecun 以「deep learning and the path to ai」為題，對深度學習目前的發展現狀和面臨的最大挑戰、以及應對方法進行了綜述和分析。新智元結合台灣大學在 facebook 上公布的視訊、台灣科技媒體 ithome 的報道，以及 yann lecun 今年早些時候在愛丁堡大學的演講資料，為您綜合介紹。
深度學習的特點在于“整個程式都是可訓練的”
演講從模式識别（pattern recognition）的起源說起。1957年，perceptron 誕生，成為第一個 learningmachine。lecun 說，目前的機器學習算法大多衍生自 perceptron的概念。
從那時起，模式識别的标準模型就可以分為 3 步走：1.程式被輸入一張圖像，通過特征提取，将圖像特征轉換為多個向量；2. 輸入這些向量到可訓練的分類器中；3.程式輸出識别結果。
他表示，機器學習算法其實就是誤差校正（error correction），通過調整權重，來進行特征提取。也就是說，如果輸入一張圖，算法識别後，結果值低于預期類别的值，工程師就将輸入的圖增加 positive 的權重，減少 negative 的權重，來校正誤差。
深度學習是當今最廣泛使用的模式識别方法。lecun 認為深度學習的特點在于“整個程式都是可訓練的”。他解釋，建構深度學習的模型不是用手動調整特征提取的參數來訓練分類器，而是建立一群像小型瀑布般的可訓練的模組。
當開發人員将原始的影像輸入系統後，會先經過初步的特征提取器，産生代表的數值，在這一個階段可能會先識别出一些基本的紋理，接下來這些紋理的組合會再被拿來識别更具體的特征，像是物件的形體或是類别，整個訓練的過程就是不斷地經過一層又一層這樣的模型，每一層都是可訓練的，是以我們稱這個算法為深度學習或是端到端訓練（end to end running）。
lecun 解釋，深度學習模型之是以工作良好，是因為現在的影像都是自然景象加上其他物體，也就是混合型的圖像，而每個物體又由不同的特征所組成，會有不同的輪廓和紋路，圖檔的像素也是一個問題，是以，可以将影像分級成像素、邊緣、輪廓、元件和物件等，初級的特征提取會先偵測出影像中最基本的輪廓，比如明顯的紋路和色塊，進一步的特征提取則是将上一層的結果組合再一起，拼成一個形體，最後再拼成一個物體。
這種分層式的組合架構（hierarchical compositionality）其實不隻适用于影像，lecun說明，它對文字、語音、動作或是任何自然的信号都适用，這種方式參考了人腦的運作模式。大腦中的視覺中樞，也是用類似分層式的組合架構來運作，當人類看到影像後，由視網膜進入到視丘後方外側膝狀體，再到大腦中主要的視覺中樞，最後來到颞葉皮質，人類看圖像也是由大腦經過多層的結構，在100毫秒内就能識别圖檔。
深度學習的問題在于如何訓練，在1980年代中期，誤差反向傳播算法（back propagation algorithm）開始流行，但其實誤差反向傳播算法很早就被提出來，隻是當時沒有受到重視。誤差反向傳播算法一開始先經過簡單線性分類，再将這些結果帶到非線性的線性整流函數（rectified linear unit，relu），線性整流函數就是找到要調整參數的方向，來減少錯誤判斷，不過現在都已經有可用的套件或是架構，像是torch、tensorflow 或是 theano等，還有一些套件是可用來計算輸出結果和預期結果之間的誤差。
yann lecun認為，現在要撰寫機器學習算法并不難，用 3 行 python 就可以完成，不過這還停留在監督式學習階段，所謂的監督式學習就是輸入大量的訓練樣本，每一套訓練樣本都已經經過人工标注出原始圖檔和對應的預期結果。以影像處理為例，訓練集由多個(x,y)參數組成，x就是影像的像素，y則是預設的識别結果類别，像是車子、桌子等，之後再用大量的測試集來測試程式，若判斷結果正确，不用調整，若判斷有誤則調整程式中的參數。
監督式機器學習存在二大問題
是以，yann lecun表示，監督式的機器學習就是功能優化（function optimization），資料輸入和輸出的關系通過可調整的參數來優化，經由調整參數的方式，将結果的錯誤率降至最低，其中，調整參數的方式有很多種，很多人都會用梯度下降算法（stochastic gradient descent），梯度下降算法可以找到最适合的回歸模型系數．即時地根據輸入的資料動态調整模型。
身為「卷積神經網絡之父」的 yann lecun 也介紹了卷積神經網絡（convolutional neural network，cnn），卷積網絡就是将輸入的影像像素矩陣經過一層過濾器，挑選出特征，再透過池化層（poolinglayer），針對輸入特征矩陣壓縮，讓特征矩陣變小，降低計算的複雜度。cnn影像和語音識别都有很好的成效，不僅如此，還能識别街上移動的路人、街景的物體，facebook 也用 cnn 來識别 facebook 使用者上傳的照片，他表示一天 facebook 就有10億以上的照片，可以準确地識别物體的類别，像是人還是狗、貓等，還能識别照片的主題，像是婚禮或是生日派對等。
不過，yann lecun提出，監督式的機器學習有2大問題，第一是要如何建立複雜的算法來解決複雜的問題，第二則是手動調整參數的知識和經驗都是來自于不同任務，許多工程師想要處理的領域，像是影像識别、語音識别都需要建置不同模型，是以，監督式機器學習可以在訓練過的專案上有很好的表現，但是沒有訓練過的資料，程式就無法辨識，簡單來說，如果要程式識别椅子，不可能訓練所有椅子的特征資料。
事實上，yann lecun 表示現實中有種機器具備數百萬的調整鈕（knob），這些調整鈕就像機器學習中的參數和 perceptron 的權重一樣，可以用上百萬的訓練樣本來訓練模型，最後分類出上千種的類别，但是，每一個特征的識别都必須經過數十億次的操作，是以，可想而知，現今大家所使用的神經網絡是非常複雜的，如此龐大的運作不可能在一般的 cpu 上執行，“我們面對的是非常大規模的優化問題。”他說。
ai系統的架構
ai系統的架構大緻上可以分為感覺（perception）、觸發器（agent）和目标（objective）3個模組，先由感覺器偵測真實世界的資料，像是影像、語音等，這些資料經由觸發器，會依據狀态觸發目标，執行相對應的程式并産生結果，其中觸發器就是ai 的精髓，觸發器必須要負責規劃、預測等智能工作，而目标則是由本能和固定的兩個元件所組成，以視覺識别（visualidentity）系統為例，經由感覺收集影像資料，透過觸發器觸發分析情緒的程式，再判斷影片中的人是開心還是不開心。
ai 架構中的觸發器（agent）主要負責預測和規劃，運作過程又可分為模拟器（simulator）、執行器（actor）、回饋器（critic），模拟器接收到狀态後，傳送給執行器，執行器就會啟動相對應的動作，并同時對模拟器提出要求，啟動相對應的動作之後送到回饋器，經由回饋器分析要採取的動作，決定後才送往目标（objective）執行。
ai 最大局限是沒有人類的“常識”
市場上 ai 好像無所不能，但其實，yann lecun個人認為，ai 還是有些局限，像是機器必須會觀察狀态、了解很多背景知識、世界運作的定律，以及精确地判斷、規劃等，其中，yann lecun 認為 ai 最大的局限是無法擁有人類的「常識」。
由于目前比較好的ai應用都是采用監督式學習，能夠準确識别人工标示過的物體，也有些好的成果是用強化學習（reinforcement learning）的方式，但是強化學習需要大量地收集資料來訓練模型，yann lecun表示，對應到現實社會中的問題，監督式學習不足以成為“真的”ai。
他指出，人類的學習是建立在與事物互動的過程，許多都是人類自行體會、領悟出對事物的了解，不需要每件事都要教導，舉例來說，若有個物體被前面的物體擋住，人類會知道後面的物體依然存在的事實，或是物體沒有另一個物體支撐就會掉落的事實。
“人腦就是推理引擎！”他說明，人類靠着觀察建立内部分析模型，當人類遇到一件新的事物，就能用這些既有的模型來推測，因為生活中人類接觸到大量的事物和知識，而建立了“常識”。這些常識可以帶領人類做出一些程式無法達到的能力，像是人類可以隻看一半的臉就能想像另外一半臉，或是可以從過去的事件推測未來等。
他舉例，若人類看到一張戰利品放不下行李箱的圖檔，再看到一個句子說：”這些戰利品放不下行李箱，因為它太小了。“人類能夠很清楚地知道“它”指的是行李箱，人類也因為知道整個社會和世界運作的規則，當沒有太多的資訊時，人類可以依照因果關系自動補足空白的資訊。
無監督式學習是突破 ai 困境的關鍵，采用無監督學習的對抗訓練讓 ai 擁有真正自我學習的能力。
如何讓 ai 擁有人類的常識？yann lecun認為要用無監督式學習。他又稱之為預測學習，他将現今機器學習的方式分為強化式、監督式和無監督式學習，并以黑森林蛋糕來比喻。
強化學習是蛋糕上不可或缺的櫻桃，所需要資料量可能大約隻有幾個bits，監督式學習是蛋糕外部的糖衣，需要10到10,000個bits的資料量，而無監督學習則是需要數百萬個bits，無監督學習被他比喻為黑森林蛋糕，因為無監督學習的預測能力像擁有黑魔法一樣神奇，不過，他也強調黑森林蛋糕必須搭配櫻桃，櫻桃不是可選擇的配料，而是必要的，意味着無監督學習與強化學習相輔相成，缺一不可。
yann lecun認為，程式還是很難在不确定性的情況下，正确地預測，舉例來說，如果一隻直立的筆，沒有支撐之後，程式可以判斷出筆會倒下，但是無法預測會倒向哪一個方向。
是以，他表示，對抗訓練（adversarial training）是可以讓 ai 程式擁有自學能力的方法，他解釋，對抗訓練就是讓兩個網絡互相博奕，由生成器（generator）和判别器（discriminator）組成，生成器随機地從訓練集中挑選真實資料和幹擾噪音，産生新的訓練樣本，判别器再用與真實資料比對的方式，判斷出資料的真實性，如此一來，生成器與判别器可以互動學習自動優化預測能力，創造最佳的預測模型。
來源：資料挖掘機器學習與人工智能算法
<a href="https://mp.weixin.qq.com/s/m3yhg5trqo1mdnsrssid-w">原文連結</a>