一 交叉驗證目的
為了讓被評估的模型更加準确可信
二 交叉驗證(cross validation)
交叉驗證：将拿到的訓練資料，分為訓練和驗證集。以下圖為例：将資料分成5份，其中一份作為驗證集。然後經過5次(組)的測試，每次都更換不同的驗證集。即得到5組模型的結果，取平均值作為最終結果。又稱5折交叉驗證。
2.1 分析
三 超參數搜尋-網格搜尋(Grid Search)
通常情況下，有很多參數是需要手動指定的（如k-近鄰算法中的K值），**這種叫超參數。**但是手動過程繁雜，是以需要對模型預設幾種超參數組合。每組超參數都采用交叉驗證來進行評估。最後選出最優參數組合建立模型。
3.1 模型選擇與調優
sklearn.model_selection.GridSearchCV(estimator, param_grid=None,cv=None)
- 對估計器的指定參數值進行詳盡搜尋
- estimator：估計器對象
- param_grid：估計器參數(dict){“n_neighbors”:[1,3,5]}
- cv：指定幾折交叉驗證
- fit：輸入訓練資料
- score：準确率
-
結果分析：
bestscore:在交叉驗證中驗證的最好結果_
bestestimator：最好的參數模型
cvresults:每次交叉驗證後的驗證集準确率結果和訓練集準确率結果
四 Facebook簽到位置預測K值調優
from sklearn.model_selection import train_test_split,GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
import pandas as pd
"""
k-緊鄰 預測使用者簽到位置
"""
# 1.讀取資料
data = pd.read_csv("./facebook-v-predicting-check-ins/train.csv")
print(data.head(10))
#處理資料
# 1.縮小資料 比如 pladc_id 入住位置，每個都不一樣，但是可能某些位置就一兩個人，
# 查詢資料曬訊
data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y < 2.75")
# 2.處理時間 -時間戳日期 1990-01-01 10:25:10
timevalue = pd.to_datetime(data['time'], unit='s')
# 把時間格式轉換成 字典格式
timevalue = pd.DatetimeIndex(timevalue)
# 構造特征 加入時間的其它的特征
data['day'] = timevalue.day
data['hour'] = timevalue.hour
data['weekday'] = timevalue.weekday
# 把時間戳特征删除 pd裡1表示列 ske裡0表示列
data = data.drop(['time'], axis=1)
# 把簽到數量少于n個目标位置删除
place_count = data.groupby('place_id').count()
tf = place_count[place_count.row_id > 3].reset_index()
data = data[data['place_id'].isin(tf.place_id)]
# 3.取出特征值和目标值 去除資料中的特征值 和 目标值
y = data['place_id']
x = data.drop(['place_id'], axis=1)
# 4.資料分割
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
# 5. 标準化 - 特征工程
std = StandardScaler()
#對測試集和訓練集的特征值進行标準化
x_train = std.fit_transform(x_train)
x_test = std.fit_transform(x_test)
# 二 進行算法流程
# K值：算法傳入參數不定的值 理論上：k = 根号(樣本數)
# K值：後面會使用參數調優方法，去輪流試出最好的參數[1,3,5,10,20,100,200]
knn = KNeighborsClassifier()
param = {"n_neighbors": [3, 5, 10]}
gc = GridSearchCV(knn, param_grid=param, cv=2)
gc.fit(x_train, y_train)
print("選擇了某個模型測試集當中預測的準确率為：", gc.score(x_test, y_test))
# 訓練驗證集的結果
print("在交叉驗證當中驗證的最好結果：", gc.best_score_)
print("gc選擇了的模型K值是：", gc.best_estimator_)
print("每次交叉驗證的結果為：", gc.cv_results_)