文章目錄

前言
一、SVM是什麼？
二、代碼流程
- Demo實踐流程
三、算法實踐
四、支援向量機介紹
- 4.1支援向量機介紹
- 4.2軟間隔
- 4.3超平面
總結

前言

本文将不涉及非常嚴格和複雜的理論知識，力求于通過直覺來感受 SVM。

一、SVM是什麼？

支援向量機（Support Vector Machine，SVM）是一個非常優雅的算法，具有非常完善的數學理論，常用于資料分類，也可以用于資料的回歸預測中，由于其優美的理論保證和利用核函數對于線性不可分問題的處理技巧，在上世紀90年代左右，SVM曾紅極一時。

二、代碼流程

Demo實踐流程

Step1:庫函數導入

Step2:建構資料集并進行模型訓練

Step3:模型參數檢視

Step4:模型預測

Step5:模型可視化

三、算法實踐

首先我們利用sklearn直接調用 SVM函數進行實踐嘗試

1:庫函數導入

## 基礎函數庫
import numpy as np
## 導入畫圖庫
import matplotlib.pyplot as plt
import seaborn as sns
## 導入邏輯回歸模型函數
from sklearn import svm

2:建構資料集并進行模型訓練

##Demo示範LogisticRegression分類
## 構造資料集
x_fearures = np.array([[-1, -2], [-2, -1], [-3, -2], [1, 3], [2, 1], [3, 2]])
y_label = np.array([0, 0, 0, 1, 1, 1])
## 調用SVC模型 （支援向量機分類）
svc = svm.SVC(kernel='linear')
## 用SVM模型拟合構造的資料集
svc = svc.fit(x_fearures, y_label)

3:模型參數檢視

## 檢視其對應模型的w
print('the weight of Logistic Regression:',svc.coef_)
## 檢視其對應模型的w0
print('the intercept(w0) of Logistic Regression:',svc.intercept_)

the weight of Logistic Regression: [[0.33364706 0.33270588]]

the intercept(w0) of Logistic Regression: [-0.00031373]

4:模型預測

## 模型預測
y_train_pred = svc.predict(x_fearures)
print('The predction result:',y_train_pred)

The predction result: [0 0 0 1 1 1]

5:模型可視化

# 最佳函數
x_range = np.linspace(-3, 3)
w = svc.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_range - (svc.intercept_[0]) / w[1]
# 可視化決策邊界
plt.figure()
plt.scatter(x_fearures[:,0],x_fearures[:,1], c=y_label, s=50, cmap='viridis')
plt.plot(x_range, y_3, '-c')
plt.show()

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

可以對照之前的邏輯回歸模型的決策邊界，我們可以發現兩個決策邊界是有一定差異的（可以對比兩者在X,Y軸上的截距），這說明這兩個不同在相同資料集上找到的判别線是不同的，而這不同的原因其實是由于兩者選擇的最優目标是不一緻的。接下來我們進行SVM的一些簡單介紹。

四、支援向量機介紹

4.1支援向量機介紹

我們常常會碰到這樣的一個問題，首先給你一些分屬于兩個類别的資料。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets.samples_generator import make_blobs
%matplotlib inline
# 畫圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=60, cmap=plt.cm.Paired)

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

現在需要一個線性分類器，将這些資料分開來。

我們可能會有多種分法：

# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)
# 畫函數
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

那麼現在有一個問題，兩個分類器，哪一個更好呢？

為了判斷好壞，我們需要引入一個準則：好的分類器不僅僅是能夠很好的分開已有的資料集，還能對未知資料集進行兩個的劃分。

假設，現在有一個屬于紅色資料點的新資料（3， 2.8）

# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
plt.scatter([3], [2.8], c='#cccc00', marker='<', s=100, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)
# 畫函數
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

可以看到，此時黑色的線會把這個新的資料集分錯，而藍色的線不會。

我們剛剛舉的例子可能會帶有一些主觀性。

那麼如何客觀的評判兩條線的健壯性呢？

此時，我們需要引入一個非常重要的概念：最大間隔。

最大間隔刻畫着目前分類器與資料集的邊界，以這兩個分類器為例：

# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
x_fit = np.linspace(0, 3)
# 畫函數
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
# 畫邊距
plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4)
y_2 = -0.3 * x_fit + 3
plt.plot(x_fit, y_2, '-k')
plt.fill_between(x_fit, y_2 - 0.4, y_2 + 0.4, edgecolor='none', color='#AAAAAA', alpha=0.4)

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

可以看到，藍色的線最大間隔是大于黑色的線的。

是以我們會選擇藍色的線作為我們的分類器。

# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 畫圖
y_1 = 1 * x_fit + 0.8
plt.plot(x_fit, y_1, '-c')
# 畫邊距
plt.fill_between(x_fit, y_1 - 0.6, y_1 + 0.6, edgecolor='none', color='#AAAAAA', alpha=0.4)

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

那麼，我們現在的分類器是最優分類器嗎？

或者說，有沒有更好的分類器，它具有更大的間隔？

答案是有的。

為了找出最優分類器，我們需要引入我們今天的主角：SVM

from sklearn.svm import SVC
# SVM 函數
clf = SVC(kernel='linear')
clf.fit(X, y)


# 最佳函數
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]
# 最大邊距 下屆
b_down = clf.support_vectors_[0]
y_down = a* x_fit + b_down[1] - a * b_down[0]
# 最大邊距 上屆
b_up = clf.support_vectors_[-1]
y_up = a* x_fit + b_up[1] - a * b_up[0]

# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 畫函數
plt.plot(x_fit, y_3, '-c')
# 畫邊距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 畫支援向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
 s=80, facecolors='none')

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

帶黑邊的點是距離目前分類器最近的點，我們稱之為支援向量。

支援向量機為我們提供了在衆多可能的分類器之間進行選擇的原則，進而確定對未知資料集具有更高的泛化性。

4.2軟間隔

但很多時候，我們拿到的資料是這樣子的

# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

這種情況并不容易找到這樣的最大間隔。

于是我們就有了軟間隔，相比于硬間隔而言，我們允許個别資料出現在間隔帶中。

我們知道，如果沒有一個原則進行限制，滿足軟間隔的分類器也會出現很多條。

是以需要對分錯的資料進行懲罰，SVC 函數中，有一個參數 C 就是懲罰參數。

懲罰參數越小，容忍性就越大。

以 C=1 為例子，比如說：

# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 懲罰參數：C=1
clf = SVC(C=1, kernel='linear')
clf.fit(X, y)
# 最佳函數
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]
# 最大邊距 下屆
b_down = clf.support_vectors_[0]
y_down = a* x_fit + b_down[1] - a * b_down[0]
# 最大邊距 上屆
b_up = clf.support_vectors_[-1]
y_up = a* x_fit + b_up[1] - a * b_up[0]
# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 畫函數
plt.plot(x_fit, y_3, '-c')
# 畫邊距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 畫支援向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
 s=80, facecolors='none')

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

如果懲罰參數 C=0.2 時，SVM 會更具包容性，進而相容更多的錯分樣本：

X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.9)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 懲罰參數：C=0.2
clf = SVC(C=0.2, kernel='linear')
clf.fit(X, y)
x_fit = np.linspace(-1.5, 4)
# 最佳函數
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*x_fit - (clf.intercept_[0]) / w[1]
# 最大邊距 下屆
b_down = clf.support_vectors_[10]
y_down = a* x_fit + b_down[1] - a * b_down[0]
# 最大邊距 上屆
b_up = clf.support_vectors_[1]
y_up = a* x_fit + b_up[1] - a * b_up[0]
# 畫散點圖
X, y = make_blobs(n_samples=60, centers=2, random_state=0, cluster_std=0.4)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
# 畫函數
plt.plot(x_fit, y_3, '-c')
# 畫邊距
plt.fill_between(x_fit, y_down, y_up, edgecolor='none', color='#AAAAAA', alpha=0.4)
# 畫支援向量
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
 s=80, facecolors='none')

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

4.3超平面

若我們遇到這樣的資料集，沒有辦法利用線性分類器進行分類：

from sklearn.datasets.samples_generator import make_circles
# 畫散點圖
X, y = make_circles(100, factor=.1, noise=.1, random_state=2019)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
clf = SVC(kernel='linear').fit(X, y)
# 最佳函數
x_fit = np.linspace(-1.5, 1.5)
w = clf.coef_[0]
a = -w[0] / w[1]
y_3 = a*X - (clf.intercept_[0]) / w[1]
plt.plot(X, y_3, '-c')

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

我們可以将二維（低維）空間的資料映射到三維（高維）空間中。

此時，我們便可以通過一個超平面對資料進行劃分。

是以，我們映射的目的在于使用 SVM 在高維空間找到超平面的能力。

from mpl_toolkits.mplot3d import Axes3D
# 資料映射
r = np.exp(-(X[:, 0] ** 2 + X[:, 1] ** 2))
ax = plt.subplot(projection='3d')
ax.scatter3D(X[:, 0], X[:, 1], r, c=y, s=50, cmap=plt.cm.Paired)
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.set_zlabel('z')
x_1, y_1 = np.meshgrid(np.linspace(-1, 1), np.linspace(-1, 1))
z = 0.01*x_1 + 0.01*y_1 + 0.5
ax.plot_surface(x_1, y_1, z, alpha=0.3)

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

在 SVC 中，我們可以用高斯核函數來實作這以功能：kernel=‘rbf’.

# 畫圖
X, y = make_circles(100, factor=.1, noise=.1, random_state=2019)
plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap=plt.cm.Paired)
clf = SVC(kernel='rbf')
clf.fit(X, y)
ax = plt.gca()
x = np.linspace(-1, 1)
y = np.linspace(-1, 1)
x_1, y_1 = np.meshgrid(x, y)
P = np.zeros_like(x_1)
for i, xi in enumerate(x):
	for j, yj in enumerate(y):
		P[i, j] = clf.decision_function(np.array([[xi, yj]]))
ax.contour(x_1, y_1, P, colors='k', levels=[-1, 0, 0.9], alpha=0.5,
 linestyles=['--', '-', '--'])
plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], edgecolor='b',
 s=80, facecolors='none');

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

此時便完成了非線性分類。

SVM 的基礎知識的直覺感受到此就結束。

總結

以上就是今天要講的内容，本文僅僅簡單介紹了SVM的使用，其理論研究請查閱相關資料學習。

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

文章目錄

前言

一、SVM是什麼？

二、代碼流程

Demo實踐流程

三、算法實踐

四、支援向量機介紹

4.1支援向量機介紹

4.2軟間隔

4.3超平面

總結

繼續閱讀

XGBoost Plotting API以及GBDT組合特征實踐 XGBoost Plotting API以及GBDT組合特征實踐

解碼器用于語義分割：資料依賴的解碼可以實作靈活的特征聚合

YAML簡介和PyYAML安全操作YAML支援的類型YAML的優點：yaml的基本文法python操作

2021-2025年中國運動療法（KT）帶行業市場供需與戰略研究報告

Small tricks

libsvm for python 安裝

學習軟體測試基礎測試第七天

Zeppelin 配置通路 REST APIApache Zeppelin Configuration REST API

【Torch】最簡潔logging使用指南

27. Remove Element(清單)題目代碼

Cloud Studio初體驗

使用 ctypes 進行 Python 和 C 的混合程式設計

【python】【資料處理】畫多元資料分布圖

【python】netconf協定對接管理裝置

「Python 網絡自動化」NETCONF —— Python 使用 NETCONF 管理配置 H3C 網絡裝置

在python中建立excel并寫入

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、 算法實踐四、 支援向量機介紹總結

文章目錄

前言

一、SVM是什麼？

二、代碼流程

Demo實踐流程

三、 算法實踐

四、 支援向量機介紹

4.1支援向量機介紹

4.2軟間隔

4.3超平面

總結

繼續閱讀

機器學習第三課：基于支援向量機的分類預測前言一、SVM是什麼？二、代碼流程三、算法實踐四、支援向量機介紹總結

三、算法實踐

四、支援向量機介紹