softmax求導/label_smoothing求導/知識蒸餾求導

文章目錄

• softmax求導
• label_smoothing
• 知識蒸餾

softmax求導

鍊式求導

分别求解

則有

關于矩陣形式的求導可以參考另一篇​​矩陣求導術​

label_smoothing

其中

求導結果與上面softmax相同

知識蒸餾

有兩個

分别對應教師網絡和學生網絡的輸出

當

當

帶傳入連結式求導公式

将

帶入，并通過泰勒公式

假設logits的均值為0，即

是以，當導數等于0的時候，student網絡生成的logit模仿的就是teacher網絡的logit。