天天看點

遷移學習綜述:A Survey on Transfer Learning

在會議上聽一位老師介紹得一篇比較權威的遷移學習綜述,

https://arxiv.org/pdf/1808.01974.pdf

文章中總結了目前遷移學習的四種方法:

1,直接對源域資料集進行遷移,給源域資料集加上适當的權重與目标域資料集共同訓練樣本。

2,将源域和目标域資料集共同映射到同一個資料空間,對新資料空間中的資料進行訓練,提到了TCA和MMC兩個概念目前還不懂需要深入了解。(

參考文獻中關于如何哪些網絡結構适合遷移的文獻,需要讀一讀:

Yosinski, J., Clune, J., Bengio, Y., Lipson, H.: How transferable are features in deep neural networks? In: Advances in neural information processing systems. pp.)

3,直接對網絡架構進行遷移,就是finetune訓練好的模型,因為網絡前面層提取的特征往往是通用的。

4,利用GAN的思想進行對抗遷移學習,加鑒别器對不同域的特征進行鑒别,促使網絡學習到更加通用的特征。

繼續閱讀