交叉熵損失函數

二進制交叉熵損失函數

L ( w , b ) = − 1 N ∑ i = 1 N [ y i l n ( y i ^ ) + ( 1 − y i ) l n ( 1 − y i ^ ) ] L(w, b) = - \frac{1}{N} \sum_{i=1}^N [ y^i ln ( \hat{y^i} ) + (1-y^i) ln (1-\hat{y^i}) ] L(w,b)=−N1​i=1∑N​[yiln(yi^​)+(1−yi)ln(1−yi^​)]

多元交叉熵函數詳解

L ( y i ^ , y i ) = − ∑ n = 1 c y n i l n y n i ^ L(\hat{y^i}, y^i) = -\sum_{n=1}^cy_n^iln\hat{y_n^i} L(yi^​,yi)=−n=1∑c​yni​lnyni​^​

y i ^ ： 第 i 個 樣 本 的 預 測 y i ： 第 i 個 樣 本 獨 熱 編 碼 後 的 标 簽 值 c ： 類 别 數 y n i ： 第 i 個 樣 本 對 第 n 類 的 獨 熱 編 碼 标 簽 值 y n i ^ ： 第 i 個 樣 本 為 第 n 類 的 預 測 概 率 值 \hat{y^i} ：第i個樣本的預測 \\[2ex] y^i ：第i個樣本獨熱編碼後的标簽值 \\[2ex] c：類别數 \\[2ex] y_n^i：第i個樣本對第n類的獨熱編碼标簽值 \\[2ex] \hat{y_n^i}：第i個樣本為第n類的預測機率值 yi^​：第i個樣本的預測yi：第i個樣本獨熱編碼後的标簽值c：類别數yni​：第i個樣本對第n類的獨熱編碼标簽值yni​^​：第i個樣本為第n類的預測機率值