天天看點
傳回

【機器學習實戰】多項式回歸

目錄：

一、介紹

二、多項式回歸

三、scikit-learn中的多項式回歸

四、關于PolynomialFeatures

五、sklearn中的Pipeline

一、介紹

直線回歸研究的是一個因變量與一個自變量之間的回歸問題。

多項式回歸（Polynomial Regression）研究的是一個因變量與一個或多個自變量間多項式的回歸分析方法。

多項式回歸模型是線性回歸模型的一種。

多項式回歸問題可以通過變量轉換化為多元線性回歸問題來解決。

二、多項式回歸 

# 導包
import numpy as np
import matplotlib.pyplot as plt

# [-3,3)之間随機100個數
x = np.random.uniform(-3, 3, size = 100)
X = x.reshape(-1, 1)

# np.random.normal(0, 1, size=100) 均值為0，方差為1的100個數
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100) 

# 繪制散點圖
plt.scatter(x, y)
plt.show()

輸出結果：

【機器學習實戰】多項式回歸

使用線性回歸，效果會如何？

# 線性回歸
from sklearn.linear_model import LinearRegression

# 訓練資料
lin_reg = LinearRegression()
lin_reg.fit(X, y)

# 預測
y_predict = lin_reg.predict(X)

# 繪制散點圖
plt.scatter(x, y)
plt.plot(x, y_predict, color='r')
plt.show()

輸出結果：

【機器學習實戰】多項式回歸

明顯，采用拟合的效果并不好。那麼如何解決？

解決方案：添加一個特征。

(X**2).shape   # 顯示：(100, 1)

X2 = np.hstack([X, X**2])
X2.shape # 顯示：(100, 2)

# 訓練并預測
lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_predict2 = lin_reg2.predict(X2)

# 繪制散點圖
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')
plt.show()

輸出結果：

【機器學習實戰】多項式回歸

這樣顯然要比直線拟合的效果好了不少。

# 顯示系數
print(lin_reg2.coef_)
print(lin_reg2.intercept_)

輸出結果：

array([0.95801775, 0.52570266])
1.947743957564143

小結：

多項式回歸在算法并沒有什麼新的地方，完全是采用線性回歸的思路，關鍵在于為資料添加新的特征，而這些新的特征是原有的特征的多項式組合，采用這樣的方式就能解決非線性問題，這樣的思路跟PCA這種降維思想剛好相反，而多項式回歸則是升維，添加了新的特征之後，使得更好地拟合高維資料。

三、scikit-learn中的多項式回歸 

# 導包
import numpy as np
import matplotlib.pyplot as plt

# 模拟資料
x = np.random.uniform(-3, 3, size = 100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100) 

# 多項式回歸其實對資料進行預處理，給資料添加新的特征，是以調用庫preprocessing
from sklearn.preprocessing import PolynomialFeatures

poly = PolynomialFeatures(degree=2)  # 添加二次幂特征
poly.fit(X)

X2 = poly.transform(X)
X2.shape

輸出結果：

(100, 3)

第一清單示常數項，第二清單示一次項系數，第三清單示二次項系數，接下來檢視一下前五列。

X2[:5, :]

輸出結果：

array([[ 1.        ,  2.32619679,  5.41119149],
       [ 1.        , -2.05863059,  4.2379599 ],
       [ 1.        ,  0.26110181,  0.06817416],
       [ 1.        , -0.50132099,  0.25132274],
       [ 1.        ,  1.48172452,  2.19550756]])
           
from sklearn.linear_model import LinearRegression

# 訓練并預測
lin_reg2 = LinearRegression()
lin_reg2.fit(X2, y)
y_predict2 = lin_reg2.predict(X2)

# 繪制散點圖
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color='r')
plt.show()

輸出結果：

【機器學習實戰】多項式回歸
# 顯示系數
print(lin_reg2.coef_)
print(lin_reg2.intercept_)

輸出結果：

array([0.        , 1.03772276, 0.51558598])
1.8308914615008804

四、關于PolynomialFeatures

多項式回歸關鍵在于如何建構新的特征，在sklearn中已經封裝了，那具體如何實作的？

之前使用的都是1維資料，如果使用2維3維甚至更高維呢？

# 導包
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures

X = np.arange(1, 11).reshape(-1, 2) 
X

輸出結果：

array([[ 1,  2],
       [ 3,  4],
       [ 5,  6],
       [ 7,  8],
       [ 9, 10]])
           
poly = PolynomialFeatures(degree=2)
poly.fit(X)
X2 = poly.transform(X)

X2.shape  # 顯示：(5, 6)
X2

輸出結果：

array([[  1.,   1.,   2.,   1.,   2.,   4.],
       [  1.,   3.,   4.,   9.,  12.,  16.],
       [  1.,   5.,   6.,  25.,  30.,  36.],
       [  1.,   7.,   8.,  49.,  56.,  64.],
       [  1.,   9.,  10.,  81.,  90., 100.]])

注：

此時，可以看出當資料次元是2維是，經過多項式預處理生成了6維資料，第一列很顯然是0次項系數，第二列和第三列也很好了解，分别是x1，x2，第四列和第六列分别是  x1^2，x2^2 ，還有一列，其實是x1*x2，這就是第5列，總共6列。由此可以猜想一下如果資料是3維的時候是什麼情況？

poly = PolynomialFeatures(degree=3)
poly.fit(X)
X3 = poly.transform(X)

X3.shape  # 顯示：(5, 10)
X3

輸出結果：

array([[   1.,    1.,    2.,    1.,    2.,    4.,    1.,    2.,    4.,
           8.],
       [   1.,    3.,    4.,    9.,   12.,   16.,   27.,   36.,   48.,
          64.],
       [   1.,    5.,    6.,   25.,   30.,   36.,  125.,  150.,  180.,
         216.],
       [   1.,    7.,    8.,   49.,   56.,   64.,  343.,  392.,  448.,
         512.],
       [   1.,    9.,   10.,   81.,   90.,  100.,  729.,  810.,  900.,
        1000.]])

 通過PolynomiaFeatures，将所有的可能組合，升維的方式呈指數型增長。這也會帶來一定的問題。 如何解決這種爆炸式的增長？

如果不控制一下，試想x和x[^100]相比差異就太大了。這就是傳說中的過拟合。

五、sklearn中的Pipeline

一般情況下，我們會對資料進行歸一化，然後進行多項式升維，再接着進行線性回歸。因為sklearn中并沒有對多項式回歸進行封裝，不過可以使用Pipeline對這些操作進行整合。

# 導包
import numpy as np
import matplotlib.pyplot as plt

x = np.random.uniform(-3, 3, size = 100)
X = x.reshape(-1, 1)
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size=100) 

from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression

# Pipeline
poly_reg = Pipeline([
    ("poly", PolynomialFeatures(degree=2)),
    ("std_scaler", StandardScaler()),
    ("lin_reg", LinearRegression())
])  # 清單，每個類，元祖形式 三步走 友善

# 訓練并預測
poly_reg.fit(X, y)
y_predict = poly_reg.predict(X)

# 繪制散點圖
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict[np.argsort(x)], color='r')
plt.show()

輸出結果：

【機器學習實戰】多項式回歸

結果和之前的完全一樣！！！

機器學習 多項式回歸 pipeline
上一篇: java求多項式回歸_多項式回歸
下一篇: tensorflow實作多項式回歸tensorflow實作多項式回歸

繼續閱讀