DL之DNN優化技術：神經網絡算法簡介之GD/SGD算法的簡介、代碼實作、代碼調參之詳細攻略（二）

GD算法的改進算法

1、SGD算法

(1)、mini-batch

如果不是每拿到一個樣本即更改梯度，而是若幹個樣本的平均梯度作為更新方向，則是mini-batch梯度下降算法。

(1)、SGD與學習率、Rate、Loss

GD算法中的超參數

1、學習率

(1)、固定學習率實驗的C代碼

(2)、回溯線性搜尋(Backing Line Search)

(3)、二次插值線性搜尋：回溯線性搜尋的思考——插值法，二次插值法求極值