scikit-learn機器學習筆記——k近鄰算法
- k近鄰算法
-
- sklearn k-近鄰算法API
- k近鄰算法執行個體-預測入住位置
-
- 執行個體流程：
- 資料的處理
- 模型的選擇與調優
-
- 交叉驗證
- 超參數搜尋-網格搜尋
-
- 超參數搜尋-網格搜尋API
k近鄰算法
定義：如果一個樣本在特征空間中的k個最相似(即特征空間中最鄰近) 的樣本中的大多數屬于某一個類别，則該樣本也屬于這個類别。
來源：KNN算法最早是由Cover和Hart提出的一種分類算法。
計算距離公式：兩個樣本的距離可以通過如下公式計算，又叫歐式距離。
比如說，a(a1,a2,a3),b(b1,b2,b3)。
( a 1 − b 1 ) 2 + ( a 2 − b 2 ) 2 + ( a 3 − b 3 ) 2 \sqrt{(a 1-b 1)^{2}+(a 2-b 2)^{2}+(a 3-b 3)^{2}} (a1−b1)2+(a2−b2)2+(a3−b3)2
sklearn k-近鄰算法API
•
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
。
• n_neighbors：int,可選（預設= 5），k_neighbors查詢預設使用 的鄰居數。
• algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可選用于計 算最近鄰居的算法：‘ball_tree’将會使用 BallTree，‘kd_tree’将使 用 KDTree。‘auto’将嘗試根據傳遞給fit方法的值來決定最合适的 算法。 (不同實作方式影響效率)。
k近鄰算法執行個體-預測入住位置
預測入住位置
執行個體流程：
1、資料集的處理
2、分割資料集
3、對資料集進行标準化
4、estimator流程進行分類預測
資料的處理
首先對資料進行以下處理：
1、縮小資料集範圍
2、處理日期資料
pd.to_datetime pd.DatetimeIndex
3、增加分割的日期資料
4、删除沒用的日期資料 pd.drop
5、将簽到位置少于n個使用者的删除
place_count=data.groupby('place_id').aggregate(np.count_nonzero)
tf = place_count[place_count.row_id > 3].reset_index()
data = data[data['place_id'].isin(tf.place_id)]
項目代碼示例：
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
import pandas as pd
def knncls():
"""
K-近鄰預測使用者簽到位置
:return:None
"""
# 讀取資料
data = pd.read_csv("./train.csv")
# print(data.head(10))
# 處理資料
# 1、縮小資料,查詢資料曬訊
data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")
# 處理時間的資料
time_value = pd.to_datetime(data['time'], unit='s')
print(time_value)
# 把日期格式轉換成 字典格式
time_value = pd.DatetimeIndex(time_value)
# 構造一些特征
data['day'] = time_value.day
data['hour'] = time_value.hour
data['weekday'] = time_value.weekday
# 把時間戳特征删除
data = data.drop(['time'], axis=1)
# 把簽到數量少于n個目标位置删除
place_count = data.groupby('place_id').count()
tf = place_count[place_count.row_id > 3].reset_index()
data = data[data['place_id'].isin(tf.place_id)]
# 取出資料當中的特征值和目标值
y = data['place_id']
x = data.drop(['place_id'], axis=1)
# 進行資料的分割訓練集合測試集
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
# 特征工程（标準化）
std = StandardScaler()
# 對測試集和訓練集的特征值進行标準化
x_train = std.fit_transform(x_train)
x_test = std.transform(x_test)
# 進行算法流程 # 超參數
knn = KNeighborsClassifier()
# fit， predict,score
knn.fit(x_train, y_train)
# 得出預測結果
y_predict = knn.predict(x_test)
print("預測的目标簽到位置為：", y_predict)
# 得出準确率
print("預測的準确率:", knn.score(x_test, y_test))
return None
if __name__ == '__main__':
knncls()
預測的目标簽到位置為： [1582523772 6399991653 1097200869 ... 2754348284 2327054745 8048985799]
預測的準确率: 0.41702127659574467
模型的選擇與調優
交叉驗證
将拿到的資料，分為訓練和驗證集。以下圖為例：将資料分成5份，其中一份作為驗證集。然後經過5次(組)的測試，每次都更換不同的驗證集。即得到5組模型的結果，取平均值作為最終結果。又稱5折交叉驗證。
超參數搜尋-網格搜尋
通常情況下，有很多參數是需要手動指定的（如k-近鄰算法中的K值）， 這種叫超參數。但是手動過程繁雜，是以需要對模型預設幾種超參數組合。每組超參數都采用交叉驗證來進行評估。最後選出最優參數組合建立模型。
| k | 模型 |
|---|---|
| k=3 | 模型1 |
| k=5 | 模型2 |
| k=10 | 模型3 |
超參數搜尋-網格搜尋API
•
sklearn.model_selection.GridSearchCV
• sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv= None)
• 對估計器的指定參數值進行詳盡搜尋 • estimator：估計器對象
• param_grid：估計器參數(dict){“n_neighbors”:[1,3,5]}
• cv：指定幾折交叉驗證
• fit：輸入訓練資料
• score：準确率
結果分析：
• best_score_:在交叉驗證中測試的最好結果
• best_estimator_：最好的參數模型
• cv_results_:每次交叉驗證後的測試集準确率結果和訓練集準确率結果
代碼示例：K近鄰網格搜尋執行個體
params = {"n_neighbors": [3, 5, 10]}
gs = GridSearchCV(knn, param_grid=params, cv=5)
gs.fit(X_train, y_train)
print('交叉驗證的最高分數：', gs.best_score_)
print('交叉驗證的最好估計器：', gs.best_estimator_)
print('每次交叉驗證的結果', gs.cv_results_)
print('交叉驗證的分數：', gs.score(X_test, y_test))