| 方法 | 适用問題 | 模型特點 | 模型類型 | 學習政策 | 學習的損失函數 | 學習算法 | 備注 |
|---|---|---|---|---|---|---|---|
| 感覺機 | 二類分類 | 分離超平面 | 判别模型 | 極小化誤分類點到超平面的距離 | 誤分類點到超平面距離（經驗風險） | 随機梯度下降 | |
 |  | | |||||
| k近鄰 | 多類分類，回歸 | 特征空間，樣本點 | 判别模型 | k近鄰算法的三要素：距離度量、k值選擇、和分類決策規則。 距離度量：歐氏距離和一般的 距離 常用的分類決策規則是多數表決，對應于經驗風險最小化 | k近鄰算法的實作需要考慮如何快速搜尋k個最近鄰點，kd樹是一種便于對k維空間中的資料進行快速檢索的資料結構。 | ||
| | | ||||||
| 樸素貝葉斯 | 多類分類 | 特征與類别的聯合機率分布，條件獨立性假設 | 生成模型（通過訓練資料得到聯合分布） | 極大似然估計，極大後驗機率估計(期望風險最小化) | 對數似然損失 | 機率計算公式，EM算法 | |
| | |||||||
| | 後驗機率最大等價于0-1損失函數時的期望風險最小化 | ||||||
| 決策樹 | 多類分類，回歸 | 分類樹，回歸樹 | 判别模型 | 正則化的極大似然估計（以損失函數為目标函數的最小化） | 對數似然函數 | 特征選擇，生成，剪枝 | 自上而下生成，自下而上剪枝 |
| 邏輯斯蒂回歸 與最大熵 | 多類分類 | 特征條件下類别的條件機率分布，對數線性模型 | 判别模型 | 極大似然估計，正則化的極大似然估計 | 邏輯斯蒂損失 | 改進的疊代尺度法IIS，梯度下降，拟牛頓法 | |
| | | ||||||
| 最大熵 | | ||||||
| 支援向量機 | 二類分類 | 分離超平面 | 判别模型 | 極小化正則化合頁損失，軟間隔最大化 | 合頁損失 | 序列最小最優化算法（SMO） | 線性可分支援向量機 線性支援向量機 非線性支援向量機 |
| | | | | ||||
| 提升方法 | 二類分類 | 弱分類器的線性組合 | 判别模型 | 極小化加法模型的指數損失 | 指數損失 | 前向分步加法算法 | |
| EM算法 | 機率模型參數估計 | 含隐變量機率模型 | 極大似然估計，極大後驗機率估計 | 對數似然損失 | 疊代算法 | ||
| E步，求期望： | |||||||
| 隐馬爾可夫模型 | 标注 | 觀測序列與狀态序列的聯合機率分布模型 | 生成模型 | 極大似然估計，極大後驗機率估計 | 對數似然損失 | 機率計算公式，EM算法 | 機率計算算法 學習算法 預測算法 |
| 條件随機場 | 标注 | 狀态序列條件下觀測序列的條件機率分布，對數線性模型 | 判别模型 | 極大似然估計，極大後驗機率估計 | 對數似然損失 | 改進的疊代尺度法，梯度下降，拟牛頓法 | 機率計算算法 學習算法 預測算法 |
參考文獻：[1] 李航.統計學習方法[M], 清華大學出版社, 2012.3, ISBN 978-7-302-27595-4