【深度學習-LOSS】loss曲線的各種情況對應解決辦法

“loss的各種情況”

【基礎情況】

train loss	test loss	情況	解決辦法
下降	下降	網絡仍在學習（😄）	增加EPOCH直到不再下降
下降	下降	網絡過拟合（😦）	減小層中units數 / 減小層數 / 簡化網絡結構
不變	下降	資料集有問題（😡）	檢查資料集
不變	不變	學習遇到瓶頸（😦）	減國小習率 / 減小BATCH SIZE

【補充情況】

train loss	test loss	情況	解決辦法
下降	波動下降	學習率過大 或 BATCHSIZE過大	如果收斂，可以不管 / 如果不收斂，減國小習率或BATCHSIZE
收斂到較大值	收斂到較大值	可能是陷入了局部極小值	換一種帶動量的optimizer試試