2.評估方法
不同的參數配置⇒不同的模型⇒選擇泛化誤差最小、泛化性能最強的模型。
訓練集（training set）：訓練模型
驗證集（validation set）：選擇模型和調參
測試集（test set）：評估模型
1)留出法
"留出法"直接将資料集 D 劃分為兩個互斥的集合?其中一個集合作為訓練集 S，另一個作為測試集 T， 即$S \cup T=D $ ， S∩T=⊘ S \cap T=\oslashS∩T=⊘。在 S 上訓練出模型後，用 T 來評估其測試誤差，作為對泛化誤差的估計。
訓練集和測試集的劃分要盡可能保持資料分布的一緻性，避免因資料劃分過程引入額外的偏差而對最終結果産生影響。例如，在分類任務中至少要保持樣本的類别比例相似。基于該情況考慮的采樣方式稱為“分層采樣”。
留出法的劃分問題被稱為劃分窘境，接下來我們就來談談如何減輕劃分窘境所産生的負面影響。
【分割規則】：如何分割資料集取決于資料集的規模：通常會将 67% 的資料作為訓練集，将 33% 的資料作為評估資料集。
《機器學習》中指出“一般而言，測試集至少應含 30 個樣例”。
吳恩達老師的深度學習課程中也提到在傳統機器學習中訓練集和測試集的劃分問題，他認為原始資料集應分為三部分，訓練集、驗證集和測試集，并按 6：2：2 的比例進行劃分。
綜上考慮，若資料集規模較小，我們應該要滿足測試集至少應含 30 個樣例。若資料集規模較大，則 60%~80% 作為訓練集都是可以的。
【使用場合】：通常在具有大量資料且資料分布比較平衡，或者對問題的展示比較平均的情況下非常有效。該非常簡潔、快速，對某些執行比較慢的算法非常有效。
2）交叉驗證法
（1）先将資料集 D 劃分為 k 個大小相似的互斥子集， 每個子集 Di 都盡可能保持資料分布的一緻性，即從 D 中 通過分層采樣得到。
（2）每次用k-1 個子集的并集作為訓練集，剩下那個子集作為測試集
這樣就可獲得 k組訓練/測試集，進而可進行 k 次訓練和測試，最終傳回的是這 k 個測試結果的均值。
黃金準則】：
K 折交叉驗證是用來評估機器學習算法的黃金準則。通常會取 K 為 3、5、10 來分離資料，隻有在原始資料集和資料量很小時，才會嘗試取 2。
當不知道如何選擇分離資料集的方法時，請選擇 K 折交叉驗證來分離資料集；當不知道如何設定 K 值時，請将 K 值設為 10。
3）留一法
留一法（Leave-One-Out，簡稱 LOO），假定資料集 D 中包含 m 個樣本，若令 k = m，則得到交叉驗證法的一個特例，即留一法，又被稱為“棄一交叉驗證”。
【優點】：
不受随機樣本劃分方式的影響，因為 m 個樣本隻有唯一的方式劃分為 m 個子集——每個子集包含一個樣本。
由于留一法使用的訓練集與原始資料集相比隻少了一個樣本，這就使得在絕大多數情況下，留一法評估結果往往被認為比較準确。
【缺陷】：
資料集較大時，訓練 m 個模型的計算開銷太大。
留一法的估計結果也未必永遠比其他評估方法準确，沒有免費的午餐定理對實驗評估方法同樣适用。
4）自助法
自助法（bootstraping）直接以自助采樣法（bootstrap sampling）為基礎。給定包含 m 個樣本的資料集 D，對其進行采樣産生資料集 D’：
每次随機從 D 中挑選一個樣本，将其拷貝放入 D’；
然後再将該樣本放回初始資料集 D 中，使得該樣本在下次采樣時仍有可能被采到，其實就是有放回地采樣；
該過程重複執行 m 次後，就得到包含 m 個樣本的資料集 D’。
【特點】：原始資料集 D 中有一部分樣本會在 D’ 中多次出現，而另一部分樣本不出現。假設，樣本在 m 次采樣中始終不被采到的機率是
即通過自助采樣，原始資料集 D 中約有 36.8% 的樣本未出現在采樣資料集 D’ 中。于是可将 D’ 用作訓練集，餘下的資料用作測試集。這樣，實際評估的模型與期望評估的模型都使用 m 個訓練樣本，而我們仍有資料總量約 1 / 3 的、沒在訓練集中出現的樣本用于測試。這樣的測試結果，亦稱“包外估計”（out-of-bag estimate）。
調參（parameter tuning）：大多數學習算法都有些參數(parameter)需要設定，參數配置不同，學得模型的性能往往有顯著差别。
學習算法的很多參數是在實數範圍内取值，是以，對每種參數取值都訓練出模型來是不可行的。常用的做法是：對每個參數標明一個範圍和步長λ，這樣使得學習的過程變得可行。
參考文獻：
1.周志華《機器學習》
2.李航《統計學習方法》
3.https://blog.csdn.net/dagongsmallguy/article/details/84714227
4.https://blog.csdn.net/baidu_27643275/article/details/81589692