前言：最近在深度學習中，了解到多分類的softmax算法，且利用該算法在進行反向傳播時除了損失函數與sigmoid的損失函數不一樣，其他梯度遞推基本一緻。這裡主要對softmax算法的反向傳播求解dZ進行了公式推導。其他部分與sigmoid算法求解一緻。
符号說明
接下來的關鍵就是進行公式推導求解損失函數L對z的導數。 這裡求解的核心點是應用鍊式求導法則，先求L對
的導數，再求
對
的導數。
其中 ，L對
的導數應用對數的求導法則很容易求解。如下所示。
最後
對
的導數需要分i=k和i≠k兩種情況求解，求解過程如下。
i=k時，
i≠k時，
最後，将二者與
組合起來，帶入
公式，可以求解得到所求的dZ。
參考連結：https://zhuanlan.zhihu.com/p/27223959