專訪 | 楊強教授談CCAI、深度學習泡沫與人工智能入門

7 月 22 - 23 日，由中國人工智能學會、阿裡巴巴集團 & 螞蟻金服主辦，csdn、中國科學院自動化研究所承辦，雲栖社群作為獨家直播合作夥伴的第三屆中國人工智能大會（ccai 2017）将在杭州國際會議中心盛大開幕。

作為大會主席，香港科技大學計算機與工程系主任、aaai fellow 楊強教授最近接受了大會記者專訪。這次訪談幹貨滿滿，其中有不少話題是楊強教授首度公開談及，比如下一個 ai 突破口、深度學習泡沫、ai 之路心得、大學生入門 ai、好學生要能教導師學習，等等。

訪談期間，楊強教授特地回顧了去年 8 月份在北京舉辦的 ccai 大會，他認為去年的一大特點就是“腦機結合”：既有很多計算機領域的專家，又有不少大腦神經領域的專家，特别是深度學習的反向傳播算法對于大腦神經領域的啟發，讓人們體會到了領域互通、互相交流的重要價值。

同時，還有 ai 學界與産業的交流碰撞：很多工業界的人來自學界，很多學術界的人也有工業經驗，還有很多公司來展示他們的應用和場景。去年，微信帶來了它的小微機器人，這是一個很大的應用場景，它于不久前正式上線。那麼，今年在杭州，是阿裡巴巴的主場，它的 ai 場景非常好，金融和電商的大資料非常有特色，這裡面的應用展示，就比較讓人期待了。

我們的訪談，就從楊強教授為今年大會所準備的演講開始，我們先來了解一下為什麼遷移學習對于深度學習這麼重要：

<b>csdn：在今年的 ccai 大會上，您分享的主題為“深度學習的遷移模型”，您希望此次演講能夠為聽衆帶來怎樣的啟發，能幫助他們解決目前在人工智能領域哪些共性問題？</b>

楊強：我先從共性問題說起。人工智能模型現在主要以深度學習模型為主，深度學習模型現在在語音、圖像、推薦等領域已經非常有影響，但是在醫療、教育和日常生活的很多領域，它還用不了。

這裡面主要有三個原因：

一是因為我們所遇到的資料往往都是小資料，而不是大資料。比如說，我們手機上的個人資料，這是小資料；我們在教育、醫療、基因的檢測與實驗、學生測驗、客服問答上的資料，往往也都是小資料。是以，實作從大資料向小資料遷移的通用模型，就能幫助更多的領域用上人工智能，這是人工智能的普及性問題。

二是深度學習模型非常脆弱，稍加移動、離開現有的場景，它的效果就會降低。是以，可靠性是一個重要問題。對機器學習來說，由于訓練資料跟後面的應用資料會有差別，訓練出來的模型被用于處理它沒有見過的資料時，效果就會大打折扣。而緩解這一問題的辦法，正是遷移學習，它能把可靠性提升一個台階。

三是應用上的問題，特别是機器學習模型、應用的個性化。比方說在手機上，在推薦資訊、服務的時候，它要适用于個人的行為。因為任何個人的資料都是小資料，個性化的問題就是如何把雲端的通用模型适配到終端的小資料上，讓它也能工作。這就是遷移學習比較适合的事情，幫助機器學習從雲端往移動端遷移。

遷移學習是深度學習的繼續

<b>csdn</b><b>：具體到遷移學習本身，您是這個領域的開拓者，但對它的原理，我們比較難解的一點是：為什麼專門優化一種任務的參數，在處理另一種任務時依然能有優越的表現？</b>

楊強：這要從幾個方向來思考。

第一，我們知道，深度學習的特點是用非線性把原始的特征從低層轉化成高層，這個過程很複雜，它好處有目共睹，但副産品是特征分層。現在我們發現，這個層次對于遷移學習卻是有好處的。它的一個好處，是能夠對遷移學習的效果進行量化。也就是在不同的遷移目标下，知識從一個領域到另一個領域，不同的層次能遷移多少是可以定量的。

過去我們智能籠統地說能不能遷移，但現在我們可以精确地說哪一部分可以遷移，哪一部分不适合遷移。是以說，不是說所有的參數都能遷移，是有一部分的知識可以遷移，是一部分的參數、一部分的特征可以共享。

第二，有些參數負責描述一個領域的内容，有些參數負責描述一個領域的結構；結構的概念比較邏輯、高層、抽象，内容的概念比較細節、具體，那麼描述結構這部分的參數就特别适合遷移。是以，我們現在還在尋找一種能把結構和内容區分開的模型，一種類似于深度學習的模型，進而把可遷移部分和不可遷移部分定量地分開。

第三，當幾個不同的任務一起來學習的時候，往往會有一些驚人的發現，一些驚喜，這就是多任務學習。多任務學習往往會發現不同的領域所共有的這些知識，往往很容易抽象出高層的知識，也就很容易用來表達不同領域之間的共性。是以，多任務學習和遷移學習的目标是一緻的，都是要實作比較穩定的知識表達，殊途而同歸。

此外，我們還可以把遷移學習本身看成是一個學習任務。這就好比是我們的終身學習，每一次學新的任務時都能回想過去的經曆，能夠用來做遷移的就用來做遷移，而不是說這次學完下次從頭再學……這種終生學習和學習如何遷移的系統，是我們現在的一個研究項目 ，就是 learning to transfer。

<b>csdn</b><b>：關于您本人，您正在做的 ai 工作，可否詳細談談？您現在的時間都用在哪些難題上？</b>

楊強：第一個方向，主要是要發現一個領域的知識有哪一部分是可以遷移的，能夠遷移多少，這是對遷移學習的一種定量描述，從理論上、實驗上都要做研究。

第二個方向，是用多個系統來進行遷移學習研究，用一個系統來觀察另外一個系統做遷移學習的過程，這可以學會遷移的方法論，就是學習如何遷移。

第三個方向，是用一些新的機器學習的手段來幫助遷移學習，比如說 gan，也就是我們所說的生成式對抗網絡，用它來模拟一個領域的資料：這種多個系統，一個用來領域區分，一個用來做資料産生，讓兩者互補，最後形成一個能夠遷移的效果。現在我們發現這是非常有用的。

第四個方向，是我們想找一些應用面很廣同時又很難的領域，比如說自然語言處理、自然語言對話等，能夠通過遷移學習實作個性化的應用和實驗場景。

<b>csdn</b><b>：如果遷移學習的這些難題得以解決的話，能對深度學習、人工智能領域産生什麼樣的影響？</b>

楊強：深度學習的一個自然發展，就應該是遷移學習。

因為遷移學習能讓深度學習變得更加可靠，還能讓我們了解深度學習的模型。比方說，我們就可以知道哪一部分特征比較容易遷移，這些特征所對應的就是一個領域比較高層、抽象的一些結構型概念，把它們和細節區分開，就能讓我們對這個領域的知識表達形成一個很深的了解。

這樣，機器學習就可以像生物神經系統一樣終生去學習，不斷地對過去的知識進行總結、歸納，讓一個系統越學越快，在學習過程中還能發現如何學習。

等深度學習有了一定的發展後，遷移學習就有可能實作這一點，讓算法不再僅僅運作指定的學習任務，而是能舉一反三，變得比以前更加通用。

深度學習存在泡沫，但不必特别擔心

<b>csdn</b><b>：對于深度學習的前景，許多學者認為它存在泡沫，您對此是何看法？請您從遷移學習的角度談一談，深度學習如何才能更上一層樓？</b>

楊強：深度學習還有好多事情可以做，但我覺得，大家說泡沫可能也有它的道理。

現在有好多會議，計算機視覺也好、深度學習也罷，動辄都是好幾千甚至上萬的投稿，這可能是泡沫最具體的表現。它的本質，就是大家同質化很嚴重，都是隻有一點點的提高，這就有點像是論文機器：大家不是更關心去創新，而是更關心去寫論文，如果沒有新的東西做出來，這個領域逐漸就會被挖空了。

這可能是任何一個領域能發展起來的必經之路，當年的網際網路也經曆過泡沫。但是，當泡沫破裂以後，就有好多好的東西留下來了，像我們今天看到的騰訊、阿裡、amazon、google 就是當年留下來的這些好東西。是以，我覺得大家不要特别擔心泡沫。

在現在的這個場景下，随着計算能力的增加，我們去尋找新的方法，就能夠讓深度學習變得更可靠、更廣泛。遷移學習不是唯一的方法，比如邏輯學就有很多推理的方法，但它還沒有像深度學習一樣跟神經網絡聯系起來。是以，大家不妨花一些時間去研究，如何從一個深度學習的模型抽象出知識，如何讓知識更容易擴充到别的領域，這裡面還是有很多可以做的。

自然語言是個突破口

<b>csdn</b><b>：說到可以做的東西，這是深度學習接下來的發展方向。過去十年是監督學習在驅動整個領域的發展，但深度學習最近的成果，在無監督學習、強化學習和遷移學習的方向上都比較火……按照您的了解，深度學習最有可能的發展方向會是哪個？原因是什麼？</b>

楊強：我覺得有幾個方向。

第一個是快，深度學習的訓練現在還是一個問題，解決這個問題除了再做新的算法，還有就是要在系統架構上出現突破。像現在大家都在研究的參數伺服器、底層的各種伺服器架構，這些都是很好的方向。是以在計算速度、訓練速度上如何加快，這非常重要。

第二個是可靠性，就是我前面說到的，能不能把遷移學習很容易地推廣到一些它沒見過的小資料領域。

還有就是要在新的領域去嘗試。畢竟目前的深度學習領域相對都比較結構化，比如圖像領域的基本結構是像素，語音領域的基本結構就是聲波頻率……那麼到自然語言領域，其實就五花八門了：我們有句子、有文字，一個文字還有多種意思，還有上下文，我們對于文字的了解應該說是人和動物一個根本的差別。

如果把這差別視為人工智能的下一個突破口，可以想象，我們現有的 rnn、lstm，還有比較複雜的 turing machine，可能僅僅是一個開始。讓機器能有一個比較複雜的表征，這裡面有很多自然語言的問題，我們今天還克服不了。

這就是為什麼今天我們還沒有一個能跟我們自由對話的機器人，我們還不能讓機器來替我們讀書、讀報，這個領域就是機器閱讀，machine reading。我們還不能夠讓機器去讀一堆金融界的财報，然後給我們畫出一些表格來，這個還是需要人才能做到。

是以，這麼去想的話，我們确實還有很多工作需要去做。

<b>csdn</b><b>：說起複雜的自然語言，您覺得像 amazon echo、apple homepod 這類智能語音助手的出現，對于 nlp 領域會不會有一個很大的推動作用？</b>

楊強：對，這是我們見到的一些最新的，通過自然語言和深度學習取得的成果。這個成果也告訴我們幾件事，就是自然語言要取得成功，至少現在還不可能做一個通用的自然語言系統，是以一定要注意場景。

echo 就是找到了一個它非常擅長的場景，并且很适合歐美文化，像是在 living room、kitchen 這樣的地方，大家一般所問的問題的類别都是固定的。是以，場景對一個垂直型的機器學習是非常重要的。

另外就是，這種應用的另一個特點是它有很多别的技術，跟人工智能垂直的技術。比方說，硬體方面，它通過 stereo 系統能夠知道人是不是在跟它講話，然後它就能把自己喚醒。像這些我們看上去很小的東西，如果它能做得非常可靠，超過人無意中設下的那條基線，這種人工智能、自然語言的服務才有可能實作。

是以，過去我們可能看到很多公司都一股腦地去做這種對話和服務機器人，但真正能過這條紅線的卻很少，這也就是為什麼我們還沒看到一個大面積成功的應用。

然後，像你剛提到的深度學習、強化學習和遷移學習，其實這幾個現在的趨勢，是它們有一種分久必合的迹象。其實，深度學習可以用來做遷移學習，遷移學習也可以用來擴充深度學習，這也是我這次講演的一個主題。

<b>csdn</b><b>：關于“遷移學習”，google 最近釋出了一篇新論文 “one model learn them all”，有人評論它是标題黨。您怎麼看 google 在“遷移學習”上的投入？</b>

楊強：對，這篇論文我有大緻掃過一眼，還沒仔細看。它的大概意思，就是說一個 model 可以去學不同的領域，是一個多任務的研究。（據我所知，）這個技術在之前應該是研究過很多了，那它這次具體有什麼新意，我覺得我們還可以再去看一看。

但是我覺得，既然大家比較重視，這就是一件好事。是以這種标題黨，它的形象和影響應該是正面的，就是讓大家更多地關注遷移學習和多任務學習這樣的任務。

不能總是學過時的東西

<b>csdn</b><b>：上面 google 的這個研究中，有一個大學生的表現特别搶眼。對于研究所學生、博士生如何做研究，您那本書《學術研究，你的成功之道》給出了詳盡的指導；那麼，對于剛剛步入大學校門、想要接觸人工智能的大學生，您對他們的建議或者期望是什麼？</b>

楊強：其實，大學生是有很多空間可以做研究的，我們說的可以是計算機系，也可以不是計算機系。

應該說，人工智能的一個特點并不是說會處理語音、圖像就完了，它的目的不是一個技術接口。人工智能的最終目的是把我們人類的任務自動化，把人類認為重要的任務自動化，并且它的做法可能完全不沿着人的那套做法、那套方法論去做，而是自己通過機器學習來發現一套新的算法，但是它所做到的事卻是我們人類花了 4 年、8 年的時間進行訓練才能完成的一件事。

是以對大學生的一個期望就是，如果你想讓你的知識不過時，那你就應該去研究學習的方法、去研究研究的方法，然後去研究如何能夠讓一個機器來做你想做的那個實驗、你想讀的那本書、你想推導的那個公式，而不是滿足于自己會做、自己能得 100 分、自己能夠寫論文就完了。是以這裡面有一個要求，就是一個學生有沒有遷移能力，其實也就展現在他有沒有能力指揮機器來做我們過去隻能讓人來做的事情。

<b></b>

<b>csdn</b><b>：這就是說，其實您是支援咱們大學生去接觸更深的知識，主動去用它們，然後去做出一些成績來？</b>

楊強：對，其實我覺得，現在的大學教育已經落後于時代了。就是說，大學把學生圈在校園裡，讓學生去選一些課，然後耗費 4 年的時間卻不去接觸社會、不去接觸問題，這樣就把學生從 18 歲到 20 多歲的人生給耽誤了。

我覺得現在應該有一種新的學習方法，盡管還沒有被發明出來，但我有這個感覺，就是一個學生如果有能力的話，應該多去接觸一些能夠讓你成長的東西，尤其是計算機專業的學生。不僅你要這樣想，你還要能指揮計算機也這麼去做，這樣一個學生在畢業的那一年才會不覺得過時。

好學生要能教導師學習

<b>csdn</b><b>：說到學習人工智能，您的學生戴文淵先生在 ai 行業的成就有目共睹，在培養這樣的學生上，您有什麼獨到的心得？</b>

楊強：我覺得好學生和壞學生的差距不是考試。我有很多學生其實挺讓我捉急的，就是他們太重視考試了，如果是在考試的期間，他們就可以把什麼都扔下了。我覺得這樣的學生整個是錯誤的，他是在為考試而活，就像我剛才說的，考試就是考一個人的固定知識，而不是活的東西。

我也有好多像戴文淵這樣的好的學生，他們本身就不是很重視這樣的考試，但他們出來以後卻能很優秀，是在于他們有很強的組織能力、有很強的領悟性，再加上他們也能吃苦、又很主動、還很有團隊精神。是以，重點應該是學習和發展這方面的能力，我是比較希望能招到這樣的學生。

是以，有的時候面試學生，我總是去問他們說，“你能教我什麼東西？”而不是去說“我作為老師能教你什麼東西？”我希望我能從學生身上學到東西，其實這兩年我學的東西，有很多都是從學生身上學到的。

<b>csdn</b><b>：是以選擇這樣的優秀學生，其實是一種雙赢，您自己也是愈戰愈勇。</b>

楊強：對，要站在巨人的肩膀上。

做 ai 一定要有真實的場景和資料

<b>csdn</b><b>：對于程式員轉型 ai，您有什麼好的建議能讓大家少走彎路呢？比如說學習路徑，有的建議可能是從數學開始，然後一步一步就跟搞學術的學生們一樣；有的建議則是直接動手，直接來操作這些現成的模型……在您看來，哪種方式更為合适呢？</b>

楊強：多動手是非常重要的。比方說看了一本書，講機率論的，它不是看完就完了，而是說要動手去推導公式、做習題。如果是做一個機器學習比賽的話，一定要動手去寫程式，或者修改其他人的程式。是以，這種肯動手是學習的一個必要的途徑。

然後就是學習的時候，要有一些主動性，要經常問問題。我們常說，能問問題要比能解問題來得重要。是以，要多問問題，即使一時得不到答案。現在，有很多地方，像知乎、quora，像 google、百度，都可以去問問題，是以現在這些條件要好很多了。

<b>csdn</b><b>：聊了這麼多關于 ai 的學習，對于您自己在 ai 領域的學習和研究，對您最有幫忙、讓您領悟最深的一點是什麼呢？</b>

楊強：對于工作和學習，我覺得離不開實際的場景和應用。我最怕的就是做一些很虛無的東西，最後卻發現不重要。是以在香港科大，我引入了很多工業界的夥伴，比如微信。我們用的很多資料，都是真實的資料，像智慧城市、交通等等。

是以看到真實的問題，我是非常高興的。如果好久都沒有碰到，那我就心裡發慌，我最怕自己花的時間是在做一個虛構的、假設的問題上。做 ai 一定要有真實的場景和真實的資料。

但做到這一點非常難，因為既有場景又有資料的情況不多，可能還要經曆“成長的痛苦”。

什麼叫“成長的痛苦”呢？就像網際網路金融，可能有上千萬的人來用你的服務，但你不可能雇上萬的人來回答問題，這就是成長的痛苦。這種情況就逼着你去想，怎麼樣才能把這個資料留下來，訓練一個機器人來回答這些問題。如果我們平時遇到的問題沒有這個痛點的話，我們也就不會想到去做這件事。

是以我覺得，去尋找真實的人工智能場景和真實的資料，需要有一種靈感，同時也要有這種勇氣。所謂靈感，就是能看出來這個領域以後有可能被機器取代，那麼我們現在就刻意地去采資料、标資料、留資料；所謂勇氣，就是标資料、采資料這個事，肯定一開始在費用和支出上是要大于收益的，是很艱苦的、一開始都沒有人叫好的工作。是以，我覺得這兩方面都是需要這種眼光的。

其實，人工智能現在的呼聲遠遠大于我們現在的資料和場景，應該正好反過來，應該是場景和資料大于人工智能的這些宣傳、這些生意。我們應該去做實事，就是标資料，然後建立場景，然後找模型。

最後，楊強教授談到了他對本次大會的期待。特别是他最為期待的演講，是 aaai 前主席 tom dietterich 的壓軸講座，他是一個機器學習造詣很深的學者，前瞻性也非常特殊。還有一個是澳洲學者 toby walsh 的演講，他最有影響力的地方是針對 ai 社會責任的呼籲。另外，還有前來參會的 lstm 的創始人等，這一點在國際上都比較少有。

<b>關于 ccai</b>

中國人工智能大會（ccai），由中國人工智能學會發起，目前已成功舉辦兩屆，是中國國内級别最高、規模最大的人工智能大會。秉承前兩屆大會宗旨，由中國人工智能學會、阿裡巴巴集團 &amp; 螞蟻金服主辦，csdn、中國科學院自動化研究所承辦，雲栖社群作為獨家直播合作夥伴的第三屆中國人工智能大會（ccai 2017）将于 7 月 22-23 日在杭州召開。

作為中國國内高規格、規模空前的人工智能大會，本次大會由中國科學院院士、中國人工智能學會副理事長譚鐵牛，阿裡巴巴技術委員會主席王堅，香港科技大學計算機系主任、aaai fellow 楊強，螞蟻金服副總裁、首席資料科學家漆遠，南京大學教授、aaai fellow 周志華共同甄選出在人工智能領域本年度海内外最值得關注的學術與研發進展，彙聚了超過 40 位頂級人工智能專家，帶來 9 場權威主題報告，以及“語言智能與應用論壇”、“智能金融論壇”、“人工智能科學與藝術論壇”、“人工智能青年論壇”4 大專題論壇，屆時将有超過 2000 位人工智能專業人士參與。

文 | 胡永波