transfer learning
- introduce
- ideas
-
- labelled-labelled
-
- Model Fine-tuning
- Multitask Learning
- unlabelled-labelled
-
- Domain-adversarial training
- Zero-shot learning
introduce
為什麼需要transfer learning
李宏毅2020ML——P83 Transfer Learningintroduceideas 在某些特定領域的data是很少的,但是其他領域的data确實很多的。
李宏毅2020ML——P83 Transfer Learningintroduceideas 分情況讨論
李宏毅2020ML——P83 Transfer Learningintroduceideas ideas
labelled-labelled
Model Fine-tuning
思想:
李宏毅2020ML——P83 Transfer Learningintroduceideas Conservative Training流程:
李宏毅2020ML——P83 Transfer Learningintroduceideas Layer Transfer:
李宏毅2020ML——P83 Transfer Learningintroduceideas 不同領域,copy的layer的選擇也會不同
李宏毅2020ML——P83 Transfer Learningintroduceideas 效果對比:
李宏毅2020ML——P83 Transfer Learningintroduceideas 實驗結果:
李宏毅2020ML——P83 Transfer Learningintroduceideas Multitask Learning
source和target都考慮進來
李宏毅2020ML——P83 Transfer Learningintroduceideas 在多語言辨識的應用:
李宏毅2020ML——P83 Transfer Learningintroduceideas 實驗結果:
李宏毅2020ML——P83 Transfer Learningintroduceideas unlabelled-labelled
我們的任務:
李宏毅2020ML——P83 Transfer Learningintroduceideas Domain-adversarial training
架構:
李宏毅2020ML——P83 Transfer Learningintroduceideas 架構修改1:
李宏毅2020ML——P83 Transfer Learningintroduceideas 架構修改2:
李宏毅2020ML——P83 Transfer Learningintroduceideas 缺點:
李宏毅2020ML——P83 Transfer Learningintroduceideas 實驗結果:
李宏毅2020ML——P83 Transfer Learningintroduceideas Zero-shot learning
ML遇到從來沒有見過的類别怎麼辦?
李宏毅2020ML——P83 Transfer Learningintroduceideas attribute:
李宏毅2020ML——P83 Transfer Learningintroduceideas 去找attribute,再查找屬性表
李宏毅2020ML——P83 Transfer Learningintroduceideas attribute embedding
李宏毅2020ML——P83 Transfer Learningintroduceideas 用word vector
李宏毅2020ML——P83 Transfer Learningintroduceideas 損失函數:
李宏毅2020ML——P83 Transfer Learningintroduceideas 另外一個方法:
李宏毅2020ML——P83 Transfer Learningintroduceideas 翻譯中的應用:
李宏毅2020ML——P83 Transfer Learningintroduceideas