機器學習梯度下降法應用波士頓房價預測

目錄

• ​​1 線性回歸api介紹​​

• ​​小結​​

• ​​2 波士頓房價預測​​

• ​​2.1 案例背景介紹​​
• ​​2.2 案例分析​​
• ​​2.3 回歸性能評估​​
• ​​2.4 代碼實作​​

• ​​2.4.1 正規方程​​
• ​​2.4.2 梯度下降法​​

• ​​2.5 小結​​

1 線性回歸api介紹

• sklearn.linear_model.LinearRegression(fit_intercept=True)

• 通過正規方程優化
• 參數

• fit_intercept：是否計算偏置

• 屬性

• LinearRegression.coef_：回歸系數
• LinearRegression.intercept_：偏置

• sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)

• SGDRegressor類實作了随機梯度下降學習，它支援不同的loss函數和正則化懲罰項來拟合線性回歸模型。
• 參數：

• loss:損失類型

• loss=”squared_loss”: 普通最小二乘法

• fit_intercept：是否計算偏置
• learning_rate : string, optional

• 學習率填充
• ‘constant’: eta = eta0
• ‘optimal’: eta = 1.0 / (alpha * (t + t0))
• ‘invscaling’: eta = eta0 / pow(t, power_t)[default]

• power_t=0.25:存在父類當中

• 對于一個常數值的學習率來說，可以使用learning_rate=’constant’ ，并使用eta0來指定學習率。

• 屬性：

• SGDRegressor.coef_：回歸系數
• SGDRegressor.intercept_：偏置

sklearn提供給我們兩種實作的API， 可以根據選擇使用

小結

• 正規方程

• sklearn.linear_model.LinearRegression()

• 梯度下降法

• sklearn.linear_model.SGDRegressor(）

2 波士頓房價預測

2.1 案例背景介紹

• 資料介紹

給定的這些特征，是專家們得出的影響房價的結果屬性。我們此階段不需要自己去探究特征是否有用，隻需要使用這些特征。到後面量化很多特征需要我們自己去尋找

2.2 案例分析

回歸當中的資料大小不一緻，是否會導緻結果影響較大。是以需要做标準化處理。

• 資料分割與标準化處理
• 回歸預測
• 線性回歸的算法效果評估

2.3 回歸性能評估

均方誤差(Mean Squared Error)MSE)評價機制：

注：yi為預測值，

為真實值

思考：MSE和最小二乘法的差別是？

• sklearn.metrics.mean_squared_error(y_true, y_pred)

• 均方誤差回歸損失
• y_true:真實值
• y_pred:預測值
• return:浮點數結果

2.4 代碼實作

2.4.1 正規方程

def linear_model1():
    """
    線性回歸:正規方程
    :return:None
    """
    # 1.擷取資料
    data = load_boston()

    # 2.資料集劃分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标準化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4.機器學習-線性回歸(正規方程)
    estimator = LinearRegression()
    estimator.fit(x_train, y_train)

    # 5.模型評估
    # 5.1 擷取系數等值
    y_predict = estimator.predict(x_test)
    print("預測值為:\n", y_predict)
    print("模型中的系數為:\n", estimator.coef_)
    print("模型中的偏置為:\n", estimator.intercept_)

    # 5.2 評價
    # 均方誤差
    error = mean_squared_error(y_test, y_predict)
    print("誤差為:\n", error)

    return None      

2.4.2 梯度下降法

def linear_model2():
    """
    線性回歸:梯度下降法
    :return:None
    """
    # 1.擷取資料
    data = load_boston()

    # 2.資料集劃分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标準化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4.機器學習-線性回歸(特征方程)
    estimator = SGDRegressor(max_iter=1000)
    estimator.fit(x_train, y_train)

    # 5.模型評估
    # 5.1 擷取系數等值
    y_predict = estimator.predict(x_test)
    print("預測值為:\n", y_predict)
    print("模型中的系數為:\n", estimator.coef_)
    print("模型中的偏置為:\n", estimator.intercept_)

    # 5.2 評價
    # 均方誤差
    error = mean_squared_error(y_test, y_predict)
    print("誤差為:\n", error)

    return None      

estimator = SGDRegressor(max_iter=1000,learning_rate="constant",eta0=0.1)      

2.5 小結

• 正規方程和梯度下降法api在真實案例中的使用
• 線性回歸性能評估

• 均方誤差