《統計學習方法》第一章概要

統計學習方法第一章概要

1.統計學習或機器學習是關于計算機基于資料建構機率統計模型并運用模型對資料進行分析與預測的一門學科。統計學習包括監督學習、無監督學習和強化學習。

2.統計學習方法三要素——模型、政策、算法，對了解統計學習方法起到提綱掣領的作用。

3.監督學習可以概括如下：從給定有限的訓練資料出發，假設資料是獨立同分布的，而且假設模型屬于某個假設空間，應用某一評價準則，從假設空間中選取一個最優的模型，使它對已給訓練資料及未知測試資料咋給定評價标準意義下有最準确的預測。

4.統計學習中，進行模型選擇或者說提高學習的泛化能力是一個重要的問題。如果隻考慮減少訓練誤差，就可能産生過拟合現象。模型選擇的方法有正則化與交叉驗證。學習方法泛化能力的分析是統計學習理論研究的重要課題。

5.分類問題、标注問題和回歸問題都是監督學習的重要問題。統計學習方法包括感覺機、k近鄰法、樸素貝葉斯法、決策樹、邏輯斯蒂回歸與最大熵模型、支援向量機、提升方法、EM算法、隐馬爾科夫模型和條件随機場。這些方法是主要的分類、标注以及回歸方法。他們又可以歸類為生成方法與判别方法。