機器學習基礎--偏差和方差

偏差/方差（bias/variance）

  優化完成後，你發現網絡的表現不盡如人意，這時診斷網絡處于高偏差/高方差狀态是對你下一步調參方向的重要指導。與經典機器學習算法有所不同，因為深度神經網絡通常要處理非常高維的特征，是以網絡可能同時處于高偏差/高方差的狀态，即在特征空間的一些區域網絡處于高偏差，而在另一些區域處于高方差。本節，我們對偏差/方差作一簡要介紹。

偏差

  偏差度量了網絡的訓練集誤差和貝葉斯誤差（即能達到的最優誤差）的差距。高偏差的網絡有很高的訓練集誤差，說明網絡對資料中隐含的一般規律還沒有學好。當網絡處于高偏差時，通常有以下幾種解決方案。1. 訓練更大的網絡。網絡越大，對資料潛在規律的拟合能力越強。2. 更多的訓練輪數。通常訓練時間越久，對訓練集的拟合能力越強。3. 改變網絡結構。不同的網絡結構對訓練集的拟合能力有所不同。

方差

  方差度量了網絡的驗證集誤差和訓練集誤差的差距。高方差的網絡學習能力太強，把訓練集中自身獨有的一些特點也當作一般規律學得，使網絡不能很好的泛化（generalize）到驗證集。當網絡處于高方差時，通常有以下幾種解決方案。1. 更多的資料。這是對高方差問題最行之有效的解決方案。2. 正則化。3. 改變網絡結構。不同的網絡結構對方差也會有影響。

解決方案

  正則化是解決高方差問題的重要方案之一。本節，我們将對常用正則化方法做一介紹。

  正則化的基本思想是使網絡的有效大小變小。網絡變小之後，網絡的拟合能力随之降低，這會使網絡不容易過拟合到訓練集。