目錄
1. PCA 主成分分析
1.1 算法簡介
1.2 實作思路
1.3 公式推算
1.3.1 PCA順序排序
1.3.2 樣本協方差矩陣
1.4 小練習
2. LDA 線性判斷分析
2.1 算法簡介
2.2 實作思路
2.3 小練習
3. 福利送書
最後
資料樣本雖然是高維的,但是與學習任務緊密相關的或許僅僅是一個低維嵌入,是以可以對資料進行有效的降維。
主成分分析是一種統計分析、簡化資料集的方法。
它利用正交變換來對一系列可能相關的變量的觀測值進行線性變換,進而投影為一系列線性不相關變量的值,這些不相關變量稱為主成分。
一般來說,欲獲得低維子空間,最簡單的是對原始高維空間進行線性變換。
給定𝒎維空間中的資料點,将其投影到低維空間中,同時盡可能多地保留資訊。
資料在低維線性空間的正交投影
最大化投影資料的方差(紫色線)。 最小化資料點與投影之間的均方距離(藍色線之和)。
主成分概念:
主成分分析(PCA)的思想是将𝒎維特征映射到𝒌維上(𝒌<𝒎),這𝒌維是全新的正交特征。
這𝒌維特征稱為主成分(PC),是重新構造出來的𝒌維特征。
主成分特點:
源于質心的矢量。
主成分#1指向最大方差的方向。
各後續主成分與前一主成分正交,且指向殘差子空間最大方差的方向
給定中心化的資料{𝒙_𝟏,𝒙_𝟐,⋯,𝒙_𝒎},計算主向量:
我們最大化𝒙的投影方差 我們使殘差子空間中投影的方差最大 給定資料{𝒙_𝟏,𝒙_𝟐,⋯,𝒙_𝒎}, 計算協方差矩陣證明不寫了,太多公式了,自行百度吧。
給定的圖像資料集,探讨pca降維後特征個數與聚類性能的關系。
from PIL import Image
import numpy as np
import os
from ex1.clustering_performance import clusteringMetrics
from sklearn.cluster import KMeans
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = 'SimHei'
plt.rcParams['axes.unicode_minus'] = False
def getImage(path):
images = []
for root, dirs, files in os.walk(path):
if len(dirs) == 0:
images.append([root + "\\" + x for x in files])
return images
# 加載圖檔
images_files = getImage('face_images')
y = []
all_imgs = []
for i in range(len(images_files)):
y.append(i)
imgs = []
for j in range(len(images_files[i])):
img = np.array(Image.open(images_files[i][j]).convert("L")) # 灰階
# img = np.array(Image.open(images_files[i][j])) #RGB
imgs.append(img)
all_imgs.append(imgs)
# 可視化圖檔
w, h = 180, 200
pic_all = np.zeros((h * 10, w * 10)) # gray
for i in range(10):
for j in range(10):
pic_all[i * h:(i + 1) * h, j * w:(j + 1) * w] = all_imgs[i][j]
pic_all = np.uint8(pic_all)
pic_all = Image.fromarray(pic_all)
pic_all.show()
# 構造輸入X
label = []
X = []
for i in range(len(all_imgs)):
for j in all_imgs[i]:
label.append(i)
# temp = j.reshape(h * w, 3) #RGB
temp = j.reshape(h * w) # GRAY
X.append(temp)
def keams_in(X_Data, k):
kMeans1 = KMeans(k)
y_p = kMeans1.fit_predict(X_Data)
ACC, NMI, ARI = clusteringMetrics(label, y_p)
t = "ACC:{},NMI:{:.4f},ARI:{:.4f}".format(ACC, NMI, ARI)
print(t)
return ACC, NMI, ARI
# PCA
def pca(X_Data, n_component, height, weight):
X_Data = np.array(X_Data)
pca1 = PCA(n_component)
pca1.fit(X_Data)
faces = pca1.components_
faces = faces.reshape(n_component, height, weight)
X_t = pca1.transform(X_Data)
return faces, X_t
def draw(n_component, faces):
plt.figure(figsize=(10, 4))
plt.subplots_adjust(hspace=0, wspace=0)
for i in range(n_component):
plt.subplot(2, 5, i + 1)
plt.imshow(faces[i], cmap='gray')
plt.title(i + 1)
plt.xticks(())
plt.yticks(())
plt.show()
score = []
for i in range(10):
_, X_trans = pca(X, i + 1, h, w)
acc, nmi, ari = keams_in(X_trans, 10)
score.append([acc, nmi, ari])
score = np.array(score)
bar_width = 0.25
x = np.arange(1, 11)
plt.bar(x, score[:, 0], bar_width, align="center", color="orange", label="ACC", alpha=0.5)
plt.bar(x + bar_width, score[:, 1], bar_width, color="blue", align="center", label="NMI", alpha=0.5)
plt.bar(x + bar_width*2, score[:, 2], bar_width, color="red", align="center", label="ARI", alpha=0.5)
plt.xlabel("n_component")
plt.ylabel("精度")
plt.legend()
plt.show()
當我們映射的時候,由于映射的位置不同,是以我們會有不同的降維後的結果。對于下面兩個,我們可以看出方法2的分類更明顯,方法2是更好的。
和PCA的映射對比。
投影後類内方差最小,類間方差最大
就像是上面的那個三維映射例子一樣,我們可以看到,方法2之是以更好,就是因為類内方差最小,類間方差最大。
資料映射到Rk(從d維降到k維),且希望該變換将屬于同一類的樣本映射得越近越好(即最小的類内距離),而将不同類的樣本映射得越遠越好 (即最大的類間距離)。同時還能盡能多地保留樣本資料的判别資訊。
記𝒁_𝒊={𝑻(𝒙)|𝒙∊𝑿_𝒊},進而根據線性判别分析的基本思想,我們希望:
(𝒛_𝟏 ) ̅和(𝒛_2 ) ̅離的越遠越好
類間離散度
𝒁_𝒊 中的元素集中在(𝒛_𝒊 ) ̅附近越好
類内離散度
輸入:訓練樣本〖{𝒙_𝒊,𝒚_𝒊}〗_(𝒊=𝟏)^𝒏,降維後的維數(特征個數)k.
輸出:𝑿=[𝒙_𝟏, …,𝒙_𝒏 ]的低次元表示𝒁=[𝐳_𝟏, …,𝐳_𝒏 ].
步驟
1.計算類内散度矩陣 Sw;
2.計算類間散度矩陣 Sb;
3.計算矩陣S的負一次方wSb;
4.計算S的負一次方wSb的最大的k個特征值和對應的k個特征向量(w1, w2, …, wk),得到投影矩陣W
5.對樣本集中的每一個樣本特征xi轉化為新的樣本zi=WTxi
6.得到輸出樣本集〖{𝒛_𝒊,𝒚_𝒊}〗_(𝒊=𝟏)^𝒏.
給定的圖像資料集,探讨LDA的降維效果
from sklearn import datasets#引入資料集
from sklearn.neighbors import KNeighborsClassifier #KNN
from sklearn.decomposition import PCA
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.model_selection import train_test_split
import numpy as np
import matplotlib.pyplot as plt #plt用于顯示圖檔
from matplotlib import offsetbox
def calLDA(k):
# LDA
lda = LinearDiscriminantAnalysis(n_components=k).fit(data,label) # n_components設定降維到n次元
dataLDA = lda.transform(data) # 将規則應用于訓練集
return dataLDA
def calPCA(k):
# PCA
pca = PCA(n_components=k).fit(data)
# 傳回測試集和訓練集降維後的資料集
dataPCA = pca.transform(data)
return dataPCA
def draw():
# matplotlib畫圖中中文顯示會有問題,需要這兩行設定預設字型
fig = plt.figure('example', figsize=(11, 6))
# plt.xlabel('X')
# plt.ylabel('Y')
# plt.xlim(xmax=9, xmin=-9)
# plt.ylim(ymax=9, ymin=-9)
color = ["red","yellow","blue","green","black","purple","pink","brown","gray","Orange"]
colors = []
for target in label:
colors.append(color[target])
plt.subplot(121)
plt.title("LDA 降維可視化")
plt.scatter(dataLDA.T[0], dataLDA.T[1], s=10,c=colors)
plt.subplot(122)
plt.title("PCA 降維可視化")
plt.scatter(dataPCA.T[0], dataPCA.T[1], s=10, c=colors)
#plt.legend()
plt.show()
def plot_embedding(X,title=None):
x_min, x_max = np.min(X, 0), np.max(X, 0)
X = (X - x_min) / (x_max - x_min) # 對每一個次元進行0-1歸一化,注意此時X隻有兩個次元
colors = ['#5dbe80', '#2d9ed8', '#a290c4', '#efab40', '#eb4e4f', '#929591','#ababab','#eeeeee','#aaaaaa','#213832']
ax = plt.subplot()
# 畫出樣本點
for i in range(X.shape[0]): # 每一行代表一個樣本
plt.text(X[i, 0], X[i, 1], str(label[i]),
# color=plt.cm.Set1(y[i] / 10.),
color=colors[label[i]],
fontdict={'weight': 'bold', 'size': 9}) # 在樣本點所在位置畫出樣本點的數字标簽
# 在樣本點上畫出縮略圖,并保證縮略圖夠稀疏不至于互相覆寫
if hasattr(offsetbox, 'AnnotationBbox'):
shown_images = np.array([[1., 1.]]) # 假設最開始出現的縮略圖在(1,1)位置上
for i in range(data.shape[0]):
dist = np.sum((X[i] - shown_images) ** 2, 1) # 算出樣本點與所有展示過的圖檔(shown_images)的距離
if np.min(dist) < 4e-3: # 若最小的距離小于4e-3,即存在有兩個樣本點靠的很近的情況,則通過continue跳過展示該數字圖檔縮略圖
continue
shown_images = np.r_[shown_images, [X[i]]] # 展示縮略圖的樣本點通過縱向拼接加入到shown_images矩陣中
imagebox = offsetbox.AnnotationBbox(
offsetbox.OffsetImage(datasets.load_digits().images[i], cmap=plt.cm.gray_r),
X[i])
ax.add_artist(imagebox)
#plt.xticks([]), plt.yticks([]) # 不顯示橫縱坐标刻度
if title is not None:
plt.title(title)
plt.show()
data = datasets.load_digits().data#一個數64維,1797個數
label = datasets.load_digits().target
dataLDA = calLDA(2)
dataPCA = calPCA(2)
#draw() #普通圖
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plot_embedding(dataLDA,"LDA 降維可視化")
plot_embedding(dataPCA,"PCA 降維可視化")
點贊、評論即可在參與評論區的抽獎活動,抽一位小夥伴送書~
零基礎也能快速入門。本書從最基礎的高等數學基礎講起,由淺入深,層層遞進,在鞏固固有知識的同時深入講解人工智能的算法原理,無論讀者是否從事計算機相關行業,是否接觸過人工智能,都能通過本書實作快速入門。
全新視角介紹數學知識。采用計算機程式模拟數學推論的介紹方法,使數學知識更為清晰易懂,更容易讓初學者深入了解數學定理、公式的意義,進而激發起讀者的學習興趣。
理論和實踐相結合。每章最後提供根據所在章的理論知識點精心設計的“綜合性執行個體”,讀者可以通過綜合案例進行實踐操作,為以後的算法學習奠定基礎。
大量範例源碼+習題答案,為學習排憂解難。本書所有示例都有清晰完整的源碼,每章之後設有習題并配套題目答案,講解清晰,解決讀者在學習中的所有困惑。
【作者簡介】
唐宇迪,計算機專業博士,網易雲課堂人工智能認證行家,51CTO學院講師,CSDN部落格專家。
李琳,河南工業大學副教授,在軟體工程、機器學習、人工智能和模式識别等領域有深入研究。
侯惠芳,教授,解放軍資訊工程大學通信與資訊系統專業博士,擅長機器學習、大資料檢索、人工智能和模式識别等。
王社偉,河南工業大學副教授,西北工業大學航空宇航制造專業博士,挪威科技大學通路學者,對數字化制造、企業管理系統、機器學習、資料挖掘等有豐富的實戰經驗。