【模式识别与深度学习】线性判别

文章目录

• 一、线性判别函数与线性分类面
• • 1.1与超平面相关的一些计算
  • 1.2 二分类问题的线性判别准则
• 二、不等式组求解
• • 2.1 求解思路
  • 2.2 解空间的几何解释
• 三、感知器算法
• • 3.1 问题定义
  • • • 3.1.1结合线性函数的问题表示
  • 3.2 感知器算法代价函数的选择
  • 3.3 感知器算法求解
  • • 3.3.1 批量梯度下降法
    • 3.3.2 随机梯度下降法
    • 3.3.3 小批量梯度下降法
    • 3.3.4 感知器算法最优化例题（*）
  • 3.4 感知器算法的收敛性证明
• 四、线性不可分
• • 4.1非线性求解
  • 4.1.1 伪逆求解法
  • 4.1.2 迭代求解法：梯度下降法
  • • 4.1.3 最小均方误差(LMS)
    • 4.1.4LMSE与感知器求解所得分类面对比
  • 4.2 非线性判别函数总结

一、线性判别函数与线性分类面

线性分类面往往表示高维空间中的一个面，我们一般称作超平面。以二分类为例，超平面将空间分为两部分。

1.1与超平面相关的一些计算

• 原点到超平面的距离
• 空间中某一点x到超平面的距离

1.2 二分类问题的线性判别准则

二、不等式组求解

2.1 求解思路

不等式组的求解往往采用最优化方法

在模式识别与深度学习的研究中，最优化方法往往采用梯度下降法，大致优化流程如下：

如图

2.2 解空间的几何解释

核心思想：两向量内积 > 0 ⇔ \Leftrightarrow ⇔ 等价于夹角小于90°

三、感知器算法

3.1 问题定义

3.1.1结合线性函数的问题表示

数据增广后问题被简化为

3.2 感知器算法代价函数的选择

感知器算法的代价函数由简到繁，有以下提出过程，根据具体问题可以选择具体的代价函数。

3.3 感知器算法求解

3.3.1 批量梯度下降法

批量梯度下降法在找到最优解前的每一次迭代中，权值更新时，计算每次错误分类的点的均值，然后与步长相乘，并更新权值。

3.3.2 随机梯度下降法

随机梯度下降法每次更新权值时，仅考虑一个错误分类的点，不需要求均值。

3.3.3 小批量梯度下降法

随机梯度下降法每次求所有的错误分类点的均值，当错误分类的点比较多时，均值容易影响收敛效果，收敛速度会很慢；而随机梯度下降法每个错误分类的点都会大大改变模型的参数，导致模型易受个别点的影响。所以在实际应用中，往往采用小批量梯度下降法作为最优化方法，来中和以上两种方法出现的问题。

3.3.4 感知器算法最优化例题（*）

3.4 感知器算法的收敛性证明

四、线性不可分

4.1非线性求解

4.1.1 伪逆求解法

4.1.2 迭代求解法：梯度下降法

4.1.3 最小均方误差(LMS)

4.1.4LMSE与感知器求解所得分类面对比

感知器算法会将线性可分的数据完全分类正确，而LMS方法只是最小化均方误差，不一定保证所有的样本点都分类正确。两者各有优劣，在实际应用中，应根据具体问题具体分析，再考虑选用哪种方法求解。

4.2 非线性判别函数总结

注：高次多项式也可以看作是映射到高维空间

• 虽然非线性可分的数据通过映射到高维的方式可以实现线性可分，但是可能会带来维数灾难：

  

• 非线性映射虽然是一个解决线性不可分数据的好办法，但是寻找一个非线性映射是的数据线性可分是很困难的。