【DeepCV】學習率設定和優化器選取LR&Optimizer

Backto DeepCV

全憑經驗和運氣去試驗。幾個思路:

• LR 設一個定值(如 0.1)，讓真實的 L R ′ = L R n u m _ b a t c h e s LR' = \frac{LR}{num\_batches} LR′=num_batchesLR​, 去調節 mini-batch的數量
• LR 設定一個初值(如 0.1)， 開始訓練，觀察 validation 的效果，發現優化不動了，就 L R ′ = L R / 2 LR' = LR / 2 LR′=LR/2,

Ref

• 深度學習優化器 optimizer 的選擇: 前面介紹的很詳細，後面的動圖很棒