因為光看模型在訓練集上的表現容易導緻過拟合，是以回歸模型通常有兩種評價方式，一種是看驗證/交叉驗證的結果，另一種是對訓練集上的表現結果進行修正，常見名額有：AIC，BIC，Cp，adjusted R2。
用驗證/交叉驗證方式評價回歸模型性能的名額（Performance Evaluation Metric）通常有：
1. 平均絕對誤差（Mean Absolute Error, MAE）：真實目标y與估計值y-hat之間內插補點的平均值
（注：m為測試集樣本數量，下同）
2. 均方誤差（Mean Squared Error, MSE）：真實目标y與估計值y-hat之間內插補點的平方的平均值
對比平均絕對誤差，均方誤差對異常值更敏感。
3. 均方根誤差（Root Mean Squared Error, RMSE）：均方誤差的方根，可從機關度量上衡量模型的效果
上述幾個驗證誤差或交叉驗證誤差越小，就代表模型的性能越好。
下面再說一下R2和adjusted R2：
決定系數（Coefficient of Determination）R2：目标的變化由特征引起的比例
R2的值是多少代表模型的性能好？誰也不知道。有的例子中，隻要R2達到0.5-0.6就已經很好了。此外，從理論上來說，隻要增加特征的個數，R2的值是一直增加的，不管這個特征x和目标y是否有關。是以，R2通常用于特征選擇。如果增加一個特征，模型的R2值上升很多，那就說明這個特征和目标有關。
adjusted R2：與R2類似，不過增加了懲罰項，是以adjusted R2一定小于等于R2。如果新增的特征沒有帶來任何有用的資訊，那麼adjusted R2會變小，隻有在新增的特征帶來足夠多的資訊（足夠抵消懲罰項）時，adjusted R2才會增加。其缺點是無法像R2一樣對模型進行解釋。
如果以R2為評價名額，容易讓模型出現過拟合現象，是以建議用調整的R2（adjusted R-squared）來選擇模型，用R2來解釋模型。