-
了解偏差和方差
1.1，偏差：
偏差度量了學習算法的期望預測與真實結果的偏離程度，刻畫了學習算法本身的拟合能力。也即，偏差（Bias）描述了預測值（估計值）的期望與真實值之間的差距，偏差越大，越偏離真實資料。偏差可看做是“有監督的”，有人的知識參與的一個名額。即：高偏差是欠拟合
1.2，方差：
方差度量了同樣大小的訓練集的變動所導緻的學習性能的變化，刻畫了資料擾動所造成的影響。也即，方差（Variance）描述的是預測值的變化範圍，離散程度，也就是離其期望值的距離，方差越大，資料的分布越分散。
即高方差是過拟合。方差可看做是“無監督的”，客觀的名額。
1.3，噪聲：
噪聲表達了目前任務上任何學習算法所能達到的期望泛化誤差的下界，刻畫了學習問題本身的難度。
-
學習誤差為什麼是偏差和方差而産生的，并且推導數學公式
-
過拟合，欠拟合，分别對應bias和variance什麼情況
過拟合：bias很小，而variance很大，說明模型過于複雜，把訓練樣本的自身的非全局特征都學過去了。
欠拟合：bias很大。模型太簡單，對訓練樣本的一般性質沒有學到位。
-
學習鞍點，複習上次任務學習的全局最優和局部最優
定義：
目标函數在此點上的梯度為0，但從該點出發的一個方向是函數的極大值點，而在另一個點方向是函數的極小值點。
-
解決辦法有哪些
-
梯度下降
-
學習Mini-Batch與SGD
-
學習Batch與Mini-Batch，SGD梯度下降的差別
-
如何根據樣本大小選擇哪個梯度下降(批量梯度下降，Mini-Batch）
-
寫出SGD和Mini-Batch的代碼
-
學習交叉驗證
先将資料集D劃分成k個大小相似的互斥子集：
每個子集的分布盡量保持一緻
訓練時，每次使用
個子集作為訓練集，1個子集作為測試集，這樣就有
種選擇，進行
次訓練和測試，傳回
個結果的均值。
一般也稱為k折交叉驗證法，
可以取5,10,20等。
子集的劃分可能存在多種方式，為了減小因樣本劃分不同而引入的差别，
折交叉驗證通常需要随機使用不同的劃分重複
次，并取均值，這叫做
次
折交叉驗證。
越大，模型的實際訓練效果與樣本資料集
的期望預測結果越相似，特别的，當
等于
中全部樣本個數
時，意味着隻保留一個樣本作為訓練集，也被稱為留一法。
留一法的評估結果比較準确，但是在樣本較大時很費時間。
-
學習歸一化
歸一化之後，等高線比較“圓”，尋優過程更加平緩，更容易收斂。
歸一化的公式：
标準化公式：
歸一化和标準化的本質都是線性變換，先壓縮，後平移，線性變換不會改變數值的排序，反而還能提高資料的表現。
-
學習回歸模型評價名額