edge.org 為著名知識分子俱樂部 the reality club 的線上社群，自 1996 年上線，如今已有 20 年曆史。在其創刊 20 周年之際，edge.org 也推出了 2017 年度問題 —— 2017 年，最值得關注的科學術語或概念是什麼？微軟全球資深副總裁 peter lee 博士受邀應答，向大家介紹了遷移學習這一科學術語的前世今生
遷移學習
“你永遠不能了解一種語言 —— 除非你至少了解兩種語言”。
任何一個學過第二語言的人，對英國作家傑弗裡·威廉斯的這句話應該都會“感同身受”。但為什麼這樣說呢？其原因在于學習使用外語的過程會不可避免地加深一個人對其母語的了解。事實上，歌德也發現這一理念的強大威力，以至于他不由自主地做出了一個與之類似但更為極端的斷言：
“一個不會外語的人對其母語也一無所知”。
這種說法極為有趣，但令人驚訝的是恐怕更在于其實質 —— 對某一項技能或心理機能的學習和精進能夠對其他技能或心理機能産生積極影響——這種效應即為遷移學習。它不僅存在于人類智能，對機器智能同樣如此。如今，遷移學習已成為機器學習的基礎研究領域之一，且具有廣泛的實際應用潛力。
今天的機器學習領域主要圍繞着能力可随資料及經驗的積累而提高的算法，且已取得驚人進步，并由此催生出可比肩甚至超越人類智能的計算系統，例如具有了解、處理及翻譯語言能力的系統。近年來，機器學習研究多聚焦在深層神經網絡（dnn） —— 一種通過從大量資料中推斷異常複雜模式而進行學習的算法概念。例如，向一台基于 dnn 的機器輸入數千個英文錄音片段及其對應文本，機器便可從錄音與文字的關聯中推斷出相關模式。伴随着關聯模式的逐漸精确，系統最終将能 “了解” 英語語音。事實上，今天的 dnn 已經相當成熟，一台功能強大的計算機在學習充分訓練示例後，完全可以對真人對話進行文字速記，并達到比專業速記員更高的準确率。
一些人也許會很驚訝，計算機化的學習系統展現出遷移學習的能力。我們可以通過一項涉及兩套機器學習系統的實驗來思考這個問題，為了簡單起見，我們将它們稱為機器 a 和機器 b。機器 a 使用全新的 dnn，機器 b 則使用已經接受訓練并能了解英語的 dnn。現在，假設我們用一組完全相同的國語錄音及對應文本來對機器 a 和 b 進行訓練，大家覺得結果會怎樣？令人稱奇的是，機器 b（曾接受英語訓練的機器）展現出比機器 a 更好的國語技能，因為它之前接受的英語訓練将相關能力遷移到了國語了解任務中。
不僅如此，這項實驗還有另一個令人更為驚歎的結果：機器 b 不僅國語能力更高，它的英語了解能力也會提高！看來威廉斯和歌德确實說對了一點 —— 學習第二語言确實能夠加深對兩種語言的了解，即使機器也不例外。
遷移學習的理念至今仍是基礎研究的課題之一，是以，許多根本性的問題仍然懸而未決。例如，并非所有的 “遷移” 都是有用的。要讓 “遷移” 發揮作用，學習任務之間至少需要互相關聯，而這種關聯方式仍然缺乏精确定義或科學分析，且與其他領域相關概念之間的聯系仍有待闡明，如認知科學和學習理論。誠然，對于任何一個計算機科學家而言，從事計算機系統的 “拟人化” 在理智層面都是危險的，但我們卻不得不承認，遷移學習讓人類學習和機器學習之間産生了強烈而誘人的相似性；當然，如果通用人工智能真能有朝一日成為現實，遷移學習恐怕将是這一過程中的決定性因素之一。對于善于哲學思考的人來說，遷移學習的正規模型可能會為知識和知識遷移帶來新發現和分類方法。
遷移學習同樣具有極高的應用潛力。過去，機器學習在搜尋和資訊檢索等領域中的實用價值較為單一，大多聚焦于通過網際網路上大量資料集和人物資訊進行學習的系統。但我們是否想過，經過網絡訓練的系統可以了解關于較小社群、組織甚至個人的資訊麼？未來智能機器可以學習與特定個人或小型組織相關的、高度專業化的任務麼？遷移學習讓我們可以想象這樣一種可能性，讓所有網絡資訊都成為機器學習系統的基礎，而系統則可通過遷移學習獲得更個性化的資訊。實作這個願景，我們将向人工智能普及化邁出又一大步。