torch.nn.CrossEntropyLoss

class torch.nn.CrossEntropyLoss(weight=None, size_average=True, ignore_index=-100, reduce=True)
           

我這裡沒有詳細解讀這個損失函數的各個參數，僅記錄一下在sru中涉及到的。

sru中代碼如下

criterion = nn.CrossEntropyLoss(size_average=False)
           

 根據pytorch的官方文檔

我得出的了解跟以上圖檔是一緻的，圖檔來源：http://blog.csdn.net/zhangxb35/article/details/72464152?utm_source=itdadao&utm_medium=referral

跟我之前了解的交叉熵損失函數不太一樣

這裡指的交叉熵損失函數應該跟劉建平（http://www.cnblogs.com/pinard/p/6437495.html）裡的“使用對數似然損失函數和softmax激活函數進行DNN分類輸出“這個是一緻的

關于參數size_average=False，根據pytorch的官方文檔，size_average預設情況下是True，對每個小批次的損失取平均值。 但是，如果字段size_average設定為False，則每個小批次的損失将被相加。如果參數reduce=False，則忽略。

轉載于:https://www.cnblogs.com/lindaxin/p/7998105.html