1.需求引入
有聯系的事物之間存在着特定的關系。将事物抽象為變量，即變量之間存在着特定的關系。回歸（regression）方法就是建立變量之間互相關系模型的數學方法。具體點說，在回歸中，假定因變量Y和自變量X之間的模型，然後計算模型中的系數。
回歸分類：
1.按照因變量個數、模型類型，可分為
①一進制線性；②一進制非線性；③多元線性；④多元非線性。
2.兩種特殊方式：
- 逐漸回歸：回歸過程中可以調整變量數；
- Logistic回歸：以指數結構函數作為回歸模型。
2.一進制回歸
2.1一進制線性回歸
一個自變量x和因變量Y的線性關系模型：
Y——因變量，x——自變量，β0、β1 ——未知參數，稱回歸系數，ε ——随機誤差，
，var(ε)=σ2>0
如何建立回歸方程？分二步：
①确定能否建立線性回歸模型；
②确定如何對模型中未知參數β0、β1 進行評估。
下面詳細解釋其過程。
⑴對總體(x,Y)進行n次獨立觀測，獲得n組觀測值：
⑵在直角坐标系中畫出觀測值對應的點(xi,yi) 的散點圖。
如果這些點大緻位于同一條直線附近，則認為Y與x之間存線上性關系。
⑶利用最小二乘法得到
的最小二乘估計
，估計公式為
其中，
于是建立了經驗模型：
⑷回歸效果評價。
3個評價參數：
SSE表征y的估計值與實際值的偏差程度。
SST表征y與y平均值的偏差程度。
SSR表征兩種偏差之間的內插補點。
三個評價準則：
- 決定系數
,
大，說明SSE相對SST小，表示總體上看，yi與
比較靠近，驗證模型可靠。
- 剩餘标準差
S值越小，說明SSE越小，經驗模型與實際越接近。
- F檢驗
通過R、S和F的值，判斷模型是否具有良好線性關系。
⑸确定最精确的一進制線性回歸模型，并可以利用該模型對Y進行預測。
2.2一進制非線性回歸
實際問題中，變量間的關系有的是非線性關系，應該用曲線進行拟合。
⑴解決的基本思路：
①對于曲線回歸模組化的目标函數
，通過中間變換
使目标函數線性化，化為一進制線性函數
形式。
②利用最小二乘估計法估計出參數a和b，用
描述v與u之間的統計規律。
③用逆變換
還原為目标函數形式的非線性回歸方程。
⑵常見的非線性回歸模型
這些常見模型常作為非線性回歸拟合的參考模型。
①倒幂函數
函數圖形
②幂函數
0<b<1
b<0
b>1
③指數函數
b>0
b<0
④倒指數函數
b>0
b<0
⑤對數函數
b>0
b<0
⑥S型曲線
如何使用這些常見的非線性回歸模型：
- 首先，根據執行個體中的變量趨勢，結合常見的非線性函數的圖像，大概可以判斷執行個體屬于哪種非線性關系。（實際這幾種函數圖形比較接近，使用時可能都要試一下）
- 然後，根據選擇好的函數形式，利用中間變換，進行非線性拟合。
- 最後，從幾個可能的拟合結果中，根據回歸效果評價準則，選擇最好的回歸結果。