最小二乘有監督回歸
最小二乘學習法是根據輸入訓練資料，不斷調整輸入資料的權重，直到模型輸出和訓練集輸出的平方誤差最小。是以訓練目的就是權重。
平方誤差：
（Xi，Yi）是輸入的資料，theta代表權重。
使用線性模型，也就是如下圖，可以了解為類似級數的感覺
如此一來，平方誤差可以表示為
而線性模型可以表示為
平方誤差關于權重theta的偏微分就可以寫成
偏微分為0時，最小二乘滿足關系式
根據這個等式可以求出權重theta。
對于不可逆矩陣，可以使用廣義逆矩陣，如圖
matlab例程如下：
此例程中矩陣求解被簡化，
來提高計算效率。
權重最小二乘
平方誤差
權重後求解
以上是線性模型下的最小二乘。