天天看點

⚡半分鐘⚡淺入淺出了解Softmax函數

最近學習機器學習,項目也有用到分類,用到了Softmax函數。相信很多小夥伴都會用到。

簡單說來,Softmax⟶ \longrightarrow⟶歸一化指數函數。

為什麼說是指數函數呢?

下面來看一下

當我們在做回歸的時候

⚡半分鐘⚡淺入淺出了解Softmax函數
⚡半分鐘⚡淺入淺出了解Softmax函數
左邊是我們的估計值和輸出,右邊使我們的回歸模型
⚡半分鐘⚡淺入淺出了解Softmax函數

當我們需要做分類的時候,左邊的估計值标簽隻有0-1,而我們得到的y 的值會有正有負,有大有小,若這樣得到的損失函數L 則會有很大的偏差,影響分類效果

故引入了Softmax函數,将y 的值歸一化到0-1之間。

⚡半分鐘⚡淺入淺出了解Softmax函數
将y 歸一化的Soft-max函數公式:
⚡半分鐘⚡淺入淺出了解Softmax函數
⚡半分鐘⚡淺入淺出了解Softmax函數
⚡半分鐘⚡淺入淺出了解Softmax函數
具體圖解如下:
⚡半分鐘⚡淺入淺出了解Softmax函數

Caution

⚡半分鐘⚡淺入淺出了解Softmax函數

Summary

  1. Softmax 讓輸入歸一化到0-1之間。
  2. 歸一化後的值比原本的值之間的差距更大。

繼續閱讀