回歸算法預測波士頓地區房價

正規方程(LinearRegression)	梯度下降(SGDRegressor)
适用于小規模資料集 特征數量<100K	适用于大規模資料集 >10K
一次運算得出	需要指定學習率, 須多次運算(疊代)得出
隻适用于線性模型(可能出現過拟合問題)	适用于各種模型

from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, LogisticRegression
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.metrics import mean_squared_error
from sklearn.externals import joblib

def boston_line():

    lb = load_boston()
    x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.25)

    # 為資料增加一個次元,相當于把[1, 5, 10] 變成 [[1, 5, 10],]
    y_train = y_train.reshape(-1, 1)
    y_test = y_test.reshape(-1, 1)

    # 進行标準化
    std_x = StandardScaler()
    x_train = std_x.fit_transform(x_train)
    x_test = std_x.transform(x_test)

    std_y = StandardScaler()
    y_train = std_y.fit_transform(y_train)
    y_test = std_y.transform(y_test)

    # 正規方程預測
    lr = LinearRegression()
    lr.fit(x_train, y_train)
    lr_predict = std_y.inverse_transform(lr.predict(x_test))
    print("正規方程預測出的系數為:", lr.coef_)
    # 計算均方誤差參數必須使用标準化之前的值
    print("正規方程的均方誤差為:", mean_squared_error(std_y.inverse_transform(y_test),lr_predict))
    print("正規方程預測出的結果為:", lr_predict)


    # 梯度下降預測
    sgd = SGDRegressor()
    sgd.fit(x_train, y_train)
    sgd_predict = std_y.inverse_transform(sgd.predict(x_test))
    print("梯度下降預測出的系數為:", sgd.coef_)
    # 計算均方誤差參數必須使用标準化之前的值
    print("梯度下降的均方誤差為:", mean_squared_error(std_y.inverse_transform(y_test),sgd_predict))
    print("梯度下降預測出的結果為:", sgd_predict)


    # 嶺回歸下降預測(alpha為正則化力度, 數值越大,特征對最後的結果影響越小)
    rid = Ridge(alpha=1.0)
    rid.fit(x_train, y_train)
    rid_predict = std_y.inverse_transform(rid.predict(x_test))
    print("嶺回歸預測出的系數為:", rid.coef_)
    # 計算均方誤差參數必須使用标準化之前的值
    print("嶺回歸的均方誤差為:", mean_squared_error(std_y.inverse_transform(y_test),rid_predict))
    print("嶺回歸預測出的結果為:", rid_predict)


    # 儲存嶺回歸的模型(pkl格式)
    joblib.dump(rid, "./rid_model.pkl")

    # 加載嶺回歸的模型

    new_rid = joblib.load("./rid_model.pkl")
    new_rid_predict = std_y.inverse_transform(new_rid.predict(x_test))
    print("模型-->嶺回歸預測出的系數為:", rid.coef_)
    # 計算均方誤差參數必須使用标準化之前的值
    print("模型-->嶺回歸的均方誤差為:", mean_squared_error(std_y.inverse_transform(y_test),new_rid_predict))
    print("模型-->嶺回歸預測出的結果為:", new_rid_predict)

if __name__ == '__main__':
    boston_line()

           

正規方程

梯度下降

嶺回歸

嶺回歸模型

關于拟合曲線程度的判定(正常拟合為最佳)

拟合曲線

關于拟合程度(以識别汽車為例):

欠拟合:

如果隻選取"四個輪子",作為判斷汽車的依據, 那"超市小推車"可能也會被識别為汽車,這就是欠拟合

過拟合:

如果選取"四個輪子","有發動機", "有方向盤","黑色",作為汽車的判斷依據,那"紅色的跑車"就無法被識别為汽車,顯然這裡多選用了"黑色"這一特征,這就是過拟合