假設 特征 和 結果 都滿足線性。即不大于一次方。這個是針對 收集的資料而言。
收集的資料中，每一個分量，就可以看做一個特征資料。每個特征至少對應一個未知的參數。這樣就形成了一個線性模型函數，向量表示形式：
這個就是一個組合問題，已知一些資料，如何求裡面的未知參數，給出一個最優解。 一個線性矩陣方程，直接求解，很可能無法直接求解。有唯一解的資料集，微乎其微。
基本上都是解不存在的超定方程組。是以，需要退一步，将參數求解問題，轉化為求最小誤差問題，求出一個最接近的解，這就是一個松弛求解。
求一個最接近解，直覺上，就能想到，誤差最小的表達形式。仍然是一個含未知參數的線性模型，一堆觀測資料，其模型與資料的誤差最小的形式，模型與資料差的平方和最小：
這就是損失函數的來源。接下來，就是求解這個函數的方法，有最小二乘法，梯度下降法。
最小二乘法
是一個直接的數學求解公式，不過它要求x是列滿秩的，
梯度下降法