天天看點

李宏毅2020ML——P83 Transfer Learningintroduceideas

transfer learning

  • introduce
  • ideas
    • labelled-labelled
      • Model Fine-tuning
      • Multitask Learning
    • unlabelled-labelled
      • Domain-adversarial training
      • Zero-shot learning

introduce

為什麼需要transfer learning

李宏毅2020ML——P83 Transfer Learningintroduceideas

在某些特定領域的data是很少的,但是其他領域的data确實很多的。

李宏毅2020ML——P83 Transfer Learningintroduceideas

分情況讨論

李宏毅2020ML——P83 Transfer Learningintroduceideas

ideas

labelled-labelled

Model Fine-tuning

思想:

李宏毅2020ML——P83 Transfer Learningintroduceideas

Conservative Training流程:

李宏毅2020ML——P83 Transfer Learningintroduceideas

Layer Transfer:

李宏毅2020ML——P83 Transfer Learningintroduceideas

不同領域,copy的layer的選擇也會不同

李宏毅2020ML——P83 Transfer Learningintroduceideas

效果對比:

李宏毅2020ML——P83 Transfer Learningintroduceideas

實驗結果:

李宏毅2020ML——P83 Transfer Learningintroduceideas

Multitask Learning

source和target都考慮進來

李宏毅2020ML——P83 Transfer Learningintroduceideas

在多語言辨識的應用:

李宏毅2020ML——P83 Transfer Learningintroduceideas

實驗結果:

李宏毅2020ML——P83 Transfer Learningintroduceideas

unlabelled-labelled

我們的任務:

李宏毅2020ML——P83 Transfer Learningintroduceideas

Domain-adversarial training

架構:

李宏毅2020ML——P83 Transfer Learningintroduceideas

架構修改1:

李宏毅2020ML——P83 Transfer Learningintroduceideas

架構修改2:

李宏毅2020ML——P83 Transfer Learningintroduceideas

缺點:

李宏毅2020ML——P83 Transfer Learningintroduceideas

實驗結果:

李宏毅2020ML——P83 Transfer Learningintroduceideas

Zero-shot learning

ML遇到從來沒有見過的類别怎麼辦?

李宏毅2020ML——P83 Transfer Learningintroduceideas

attribute:

李宏毅2020ML——P83 Transfer Learningintroduceideas

去找attribute,再查找屬性表

李宏毅2020ML——P83 Transfer Learningintroduceideas

attribute embedding

李宏毅2020ML——P83 Transfer Learningintroduceideas

用word vector

李宏毅2020ML——P83 Transfer Learningintroduceideas

損失函數:

李宏毅2020ML——P83 Transfer Learningintroduceideas

另外一個方法:

李宏毅2020ML——P83 Transfer Learningintroduceideas

翻譯中的應用:

李宏毅2020ML——P83 Transfer Learningintroduceideas

繼續閱讀