如果僅從測試誤差出發，标準梯度下降的效果會比随機梯度下降要好。但是标準梯度下降的訓練時間會比随機梯度下降要長。像線性回歸這種簡單的模型，訓練時間的優先級不高，是以用标準梯度下降會比随機梯度下降要好。像神經網絡這種複雜的模型，訓練時間的優先級比較高，是以用随機梯度下降比較好。如果模型的損失函數是凸函數，那麼使用标準梯度下降一定能達到全局最優。如果模型比較複雜，容易進入局部最優，那麼使用随機梯度下降會發生震蕩，容易從局部最優中跳出，進入全局最優。
另外，神經網絡模型不使用标準梯度下降最重要的原因是神經網絡容易過拟合，而不是訓練時間。
（請教大神的答案）