Batch_size總結

1 定義

單次訓練用的樣本數，通常為2^N，如32、64、128

2 提出背景

在batch_size概念沒提出之前，神經網絡的訓練每一個epoch需要将所有的資料一次性加載訓練，使得記憶體負載加大。這樣會準确計算梯度方向更準确，但不同梯度值差異過大，無法确定全局的學習率。在這樣的條件下，batch_size被提出來了。

3 合适的batch_size訓練的優點

• 使記憶體使用率增大，加快訓練速度
• 使梯度方向計算更準确，收斂快。