我們越來越善于訓練深度神經網絡，從大量的标記資料中學習到從輸入到輸出的非常準确的映射，無論它們是圖像，句子，标簽預測等。
但，我們的模型所缺乏的是能夠概括出不同于訓練過程中遇到的情況。當你将模型應用于精心建構的資料集，它表現的總是不錯。但，現實世界是混亂的，包含無數的新情景，其中許多是你的模型在訓練期間沒有遇到過的。将知識遷移到新情景的能力通常被稱為遷移學習，這是我們将在本文的其餘部分讨論的内容。
在本篇博文中，我将首先将轉換學習與機器學習的最普遍和成功的範例 - 監督式學習進行對比。随後，我會給出一個更具技術性的定義和詳細的不同遷移學習場景。然後，我将提供遷移學習的應用執行個體，然後深入研究可用于傳授知識的實用方法。最後，我将對相關的方向進行概述，并提出展望未來。
什麼是遷移學習？
在機器學習的監督學習場景中，如果我們打算為某個任務和領域A訓練一個模型，我們假設我們為相同的任務和域提供了标簽資料。我們可以在圖1中清楚地看到這一點，其中我們模型A和B的訓練和測試資料的任務和領域是一樣的。讓我們假設一個任務是我們的模型旨在執行的目标，例如識别圖像中的對象，一個域是我們的資料來自舊金山咖啡店拍攝的圖像。
傳統的方法是我們要分别訓練模型A和B，這勢必會造成大量的資源和時間上的浪費。
而且當我們沒有足夠的标記資料為我們訓練可靠模型的任務或領域時，傳統的監督式學習範式就會崩潰。
如果我們想要訓練一個模型來檢測夜間圖像上的行人，我們可以應用一個已經在類似的領域進行訓練的模型，例如在日間圖像上。然而在實踐中，由于模型繼承了訓練資料的偏見，這個時候我們就需要改動其中的一些參數或者尋找一些新的模型。
如果我們想要訓練一個模型來執行一個新的任務，比如檢測騎自行車的人，我們甚至不能重複使用現有的模型，因為任務之間的标簽是不同的。
遷移學習使我們能夠利用已經存在的某些相關任務的标記資料來處理這些場景，新的模型繼承了老模型的相關能力。
在實踐中，我們試圖将盡可能多的知識從源頭遷移到目标任務或領域。這些知識可以根據資料采取多種形式：它可以涉及如何組成對象，使我們更容易識别新的對象等。
他在白闆上畫出了一張圖表，據Andrew Ng介紹，遷移學習将成為機器學習在行業中取得成功的關鍵因素。
毫無疑問，ML在工業界的使用和成功迄今主要是由監督學習推動的。在深度學習、強大的算法和大量标記資料集的推動下，監督學習使得人類對人工智能興趣大增，特别是我們已經看到的機器學習的應用近幾年來，這已成為我們日常生活的一部分。
目前在工業中使用機器學習的特點是二分天下：
另一方面：這些成功的模型非常需要資料，并依靠大量的标記資料來實作其性能。對于一些任務和領域，這些資料是多年來一直苦心經營的。在一些情況下，它是公開的，例如ImageNet，但是大量的标記資料通常是專有的或昂貴的，就像語音或MT資料集一樣，是以在資料上就有了競争優勢，有了競争機器學習才能更好的商業化。
同時，在應用機器學習模型時，存在着大量問題，如：模型以前從未見過，不知如何處理的諸多條件，每個客戶和每個使用者都有自己的偏好，擁有與用于訓練的資料不同的資料；一個模型被要求執行許多沒有被訓練的任務。在所有這些情況下，我們目前最先進的模型有的時候也會崩潰。
遷移學習中一個特别重要的應用是模拟學習，對于許多依靠硬體進行互動的機器學習應用程式來說，在現實世界中收集資料和訓練模型是昂貴的、耗時的。是以，以其他風險較小的方式收集資料是明智的。
模拟就是這方面的首選方法，它已經被用于在現實世界中許多先進的ML系統。從模拟中學習并将獲得的知識應用到現實世界中是一個遷移學習場景的執行個體，因為源域和目标域之間的特征空間是相同的（兩者通常都依賴于像素），但是模拟和邊界機率分布現實是在模拟和來源不同，即物體的樣子不同，盡管這種差異随着模拟變得更現實而減少。與此同時，模拟和真實世界之間的條件機率分布可能是不同的，因為模拟不能完全複制現實世界中的所有反應，例如實體引擎不能完全模拟真實世界對象的複雜互相作用。
其他的應用還有适應新的領域以及跨語言傳輸知識。這些應用都是非常有趣的，而且商業價值也比較高。
結論：遷移學習一定會成為未來繼監督學習研究的熱點，因為它本身可以創造足夠多的經濟價值。有了更清晰的商業價值，科技巨頭才會更多的關注這項科技。
<b>文章原标題《</b><b>transfer-learning Machine Learning’s Next Frontier</b><b>》，作者：</b>Sebastian
Ruder<b>，譯者：</b><b>虎說八道，審校：袁虎。</b>