各種優化器整理

梯度下降

1. 批量梯度下降

   

   2.随機梯度下降

   

   

   3.小批量梯度下降

   

   

   

牛頓法

m是梯度值

v是學習率

Momentum(動量法)

Nesterov Momentun(牛頓動量法)

Adagrad(Adaptive Gradient)

diag是累加

RMSprop

Adadelta

Adam