【一、多變量線性回歸模型】
多變量線性回歸是指輸入為多元特征的情況，例如：
在上圖中可看出房子的價格price由四個變量(size、number of bedrooms、number of floors 、age of home)決定，為了能夠預測給定條件（四個變量）下的房子的價格（y），我們需要建立相應的線性回歸模型。
假設有n個變量，則相應的多變量線性回歸模型如下：
注意上圖中的x是指一個訓練樣本，即每個訓練樣本都是一個（n+1）維向量（包含附加的x0=1）
【二、代價函數】
多變量線性回歸的代價函數如下：
其中x(i)代表第i個樣本
【三、梯度下降法尋找最佳theta】
下面列出單變量線性回歸梯度下降法（左）與多變量線性回歸梯度下降法（右）
其中α為學習率。
【梯度下降法的兩個細節處理】：
1. Feature Normalization
By looking at the values, note that house sizes are about 1000 times the number of bedrooms. When features differ by orders of magnitude, first performing feature scaling can make gradient descent converge much more quickly。
也就是說當特征之間相差很大時，例如房子的大小與卧室的數量，這樣會導緻梯度下降收斂比較慢，如下圖（左邊）所示，當對特征進行正規後，梯度下降收斂變快，如下圖（右邊）所示。
正規化方法可以使用mean value and the standard deviation 法，或者其他方法。
2. Selecting learning rates
學習率的正确選擇應該保證每一步疊代後cost function都是下降的，如下圖所示：
如果學習率α過大，可能會使得代價函數上升，而不是一直呈現下降趨勢，如下圖。
但是學習率α過小，那個梯度下降的收斂速度會太慢。
【選取學習率的方法】
【四、正規方程解最佳theta】
，j=0,1，…………n
由
則
注意出現下列情況時：
這時可以進行備援feature的删除