中國人工智能學會通訊——深度學習的遷移模型 一、遷移學習的三大優點

為什麼我們做遷移學習？我總結了三條原因。

●小資料。我們生活當中大量遇見的是小資料而不是大資料，當資料很稀疏，看到不同的類别我們還是能在當中做出很靠譜的模型。這并不是空穴來風，而是之前我們有過很多大資料的經驗可以去借鑒，站在大資料的巨人肩膀上，是以人工智能大量的應用，遷移學習這種模式是必不可少的。

●可靠性。 即使我們有一個大資料模型，我們也很關心它的可靠性。把一個模型遷移到不同的領域，就會發現它的準确率會大量下降，如何防止這一點，就需要模型本身具有自适應的能力，能夠自帶遷移能力。

●個性化。整個社會，我們的應用在向一個個性化的方向發展，有了雲端，有了各種各樣的終端，終端的操作者都是我們個性化的人。那麼我們讓一個模型、一個服務來适應每個人的特性，遷移學習是必不可少的。

遷移學習又是很難的。教育學有一個概念叫“學習遷移”。就是說，如果一個學生學到了很靠譜的知識，怎樣檢測呢，就是看看他有沒有能力遷移到未來的場景，再學一門新課他就發現學得容易，但是這種學習遷移能力的傳輸又非常難。

我們來看看怎樣找出不變量。在國内和世界很多地方，駕駛員都是坐在左邊，但是去香港，駕駛員就是在右邊，很多人不會開車了，就會出現危險。如果用遷移學習教你一招馬上可以開，而且很安全，就是找出一個不變量。這個不變量就是司機的位置總是靠路中間最近的，你就保持司機的位置離中線最近就可以了。

找出不變量很難，但是在其他的領域已經大量出現。最近Yann LeCun提出一個問題：機器學習的熱力學模型是什麼？我的回答是遷移學習，把一個領域裡面的知識，也就是“能量”，轉化到另外一個領域，這和熱力學把兩個物質放在一起，然後研究熱能量是如何在物質間傳播的，是類似的概念。差別是，在我們這裡的知識比實體裡的能量複雜很多倍。是以這個問題在科學上也有深遠意義。