标準方程法-嶺回歸

數學式

待續

import numpy as np
from numpy import genfromtxt
import matplotlib.pyplot as plt  

# 讀入資料 
data = genfromtxt(r"longley.csv",delimiter=',')
print(data)

# 切分資料
x_data = data[1:,2:]
y_data = data[1:,1,np.newaxis]
print(x_data)
print(y_data)

print(np.mat(x_data).shape)
print(np.mat(y_data).shape)
# 給樣本添加偏置項
X_data = np.concatenate((np.ones((16,1)),x_data),axis=1)
print(X_data.shape)

# 嶺回歸标準方程法求解回歸參數
def weights(xArr, yArr, lam=0.2):
    xMat = np.mat(xArr)
    yMat = np.mat(yArr)
    xTx = xMat.T*xMat # 矩陣乘法
    rxTx = xTx + np.eye(xMat.shape[1])*lam
    # 計算矩陣的值,如果值為0，說明該矩陣沒有逆矩陣
    if np.linalg.det(rxTx) == 0.0:
        print("This matrix cannot do inverse")
        return
    # xTx.I為xTx的逆矩陣
    ws = rxTx.I*xMat.T*yMat
    return ws

ws = weights(X_data,y_data)
print(ws)

# 計算預測值
np.mat(X_data)*np.mat(ws)      

資料