线性可分支持向量机
首先前面的概念和感知器的相同就不说了
函数间隔
描述了分类的可信程度
所以这一点的函数间隔为
而超平面的关于数据集的函数间隔定义为所有点的函数间隔的最小值
几何间隔
所以优化上述函数间隔，得到
同样定义超平面的关于数据集的几何间隔定义为所有点的几何间隔的最小值
间隔最大化
即我们要求得超平面是 关于数据集的几何间隔最大化的超平面
求解过程：
两边乘以||w||再用γ’代替||w||*γ
令γ‘=1书上解释了为什么γ’可以取特值，但是我没有搞懂。。
然后再化求最大到求最小
则此方程的解即为最大间隔超平面
最大间隔超平面的唯一性定理：
首先证明：w1=w2
解释：
1：||w1||=||w2|=c ,因为两者都是min1/2||w||^2的最优解，所以值相同
2：c<=||w|| ：因为w仅仅是可行解，所以对于min1/2||w||^2肯定不是最优的，所以要大于c
||w||<=1/2+1/2 ：理解成两边之和大于第三边
3：推导出，w1=λw2 。因为||w||=1/2+1/2，只有向量共线才行，否则就是三角形两遍之和会大于第三边。
再证明：b1=b2
1：x1’,x2’,x1’’,x2’‘分别是使得等式y(wx+b)=1成立的点
2：
x1’:wx1’+b1=1
x2’:wx2’+b2=1
x1’’:wx1’’+b1=-1
x2’’:wx2’’+b2=-1
x1’和x1’‘两式相加，得到b1*=-1/2(wx1’+wx2’)同理b2*
3：
w*x2’+b1’>=1 原因是对于最优解(w,b1’)，y(wx+b1’)>=1恒成立，x2’也是属于此集合的点。
证明唯一性，接下来就是求解方程了，书上有写，有兴趣可以去看一下
支持向量和间隔边界
例子；
线性支持向量机[线性不可分情况]
对于线性不可分的情况：不是所有样本点都能满足函数间隔大于等于1的情况
此时我们得到函数为：
可以证明w是惟一的，而b是一个区间
同样的，求解方程书上有写，有兴趣可以去看一下