【AAAI 2021】基于Attention的知識蒸餾：Knowledge Distillation via Attention-based Feature Matching

• 論文位址：
• 代碼位址：
• 主要問題：
• 主要思路：
• 具體實作：
• 實驗結果：

論文位址：

https://arxiv.org/abs/2102.02973

代碼位址：

github.com/clovaai/attention-feature-distillation

主要問題：

大多數基于特征的知識蒸餾都是手動連接配接教師和學生的中間特征，并通過預定義的連結傳遞知識，然而人工選擇往往會建構出來無效的連結，進而限制知識蒸餾的性能

主要思路：

這篇文章介紹了一種高效的特征蒸餾方法，即基于注意機制進行特征連結，這種方法能夠利用教師的所有特征層，而無需手動選擇連結

具體來說，作者的方法利用了一個基于注意力機制的元網絡