【模式識别與深度學習】線性判别

文章目錄

• 一、線性判别函數與線性分類面
• • 1.1與超平面相關的一些計算
  • 1.2 二分類問題的線性判别準則
• 二、不等式組求解
• • 2.1 求解思路
  • 2.2 解空間的幾何解釋
• 三、感覺器算法
• • 3.1 問題定義
  • • • 3.1.1結合線性函數的問題表示
  • 3.2 感覺器算法代價函數的選擇
  • 3.3 感覺器算法求解
  • • 3.3.1 批量梯度下降法
    • 3.3.2 随機梯度下降法
    • 3.3.3 小批量梯度下降法
    • 3.3.4 感覺器算法最優化例題（*）
  • 3.4 感覺器算法的收斂性證明
• 四、線性不可分
• • 4.1非線性求解
  • 4.1.1 僞逆求解法
  • 4.1.2 疊代求解法：梯度下降法
  • • 4.1.3 最小均方誤差(LMS)
    • 4.1.4LMSE與感覺器求解所得分類面對比
  • 4.2 非線性判别函數總結

一、線性判别函數與線性分類面

線性分類面往往表示高維空間中的一個面，我們一般稱作超平面。以二分類為例，超平面将空間分為兩部分。

1.1與超平面相關的一些計算

• 原點到超平面的距離
• 空間中某一點x到超平面的距離

1.2 二分類問題的線性判别準則

二、不等式組求解

2.1 求解思路

不等式組的求解往往采用最優化方法

在模式識别與深度學習的研究中，最優化方法往往采用梯度下降法，大緻優化流程如下：

如圖

2.2 解空間的幾何解釋

核心思想：兩向量内積 > 0 ⇔ \Leftrightarrow ⇔ 等價于夾角小于90°

三、感覺器算法

3.1 問題定義

3.1.1結合線性函數的問題表示

資料增廣後問題被簡化為

3.2 感覺器算法代價函數的選擇

感覺器算法的代價函數由簡到繁，有以下提出過程，根據具體問題可以選擇具體的代價函數。

3.3 感覺器算法求解

3.3.1 批量梯度下降法

批量梯度下降法在找到最優解前的每一次疊代中，權值更新時，計算每次錯誤分類的點的均值，然後與步長相乘，并更新權值。

3.3.2 随機梯度下降法

随機梯度下降法每次更新權值時，僅考慮一個錯誤分類的點，不需要求均值。

3.3.3 小批量梯度下降法

随機梯度下降法每次求所有的錯誤分類點的均值，當錯誤分類的點比較多時，均值容易影響收斂效果，收斂速度會很慢；而随機梯度下降法每個錯誤分類的點都會大大改變模型的參數，導緻模型易受個别點的影響。是以在實際應用中，往往采用小批量梯度下降法作為最優化方法，來中和以上兩種方法出現的問題。

3.3.4 感覺器算法最優化例題（*）

3.4 感覺器算法的收斂性證明

四、線性不可分

4.1非線性求解

4.1.1 僞逆求解法

4.1.2 疊代求解法：梯度下降法

4.1.3 最小均方誤差(LMS)

4.1.4LMSE與感覺器求解所得分類面對比

感覺器算法會将線性可分的資料完全分類正确，而LMS方法隻是最小化均方誤差，不一定保證所有的樣本點都分類正确。兩者各有優劣，在實際應用中，應根據具體問題具體分析，再考慮選用哪種方法求解。

4.2 非線性判别函數總結

注：高次多項式也可以看作是映射到高維空間

• 雖然非線性可分的資料通過映射到高維的方式可以實作線性可分，但是可能會帶來維數災難：

  

• 非線性映射雖然是一個解決線性不可分資料的好辦法，但是尋找一個非線性映射是的資料線性可分是很困難的。