最小二乘是一大類問題，而不是一個簡單的方法
适用于：線性（非線性）方程組問題，如果觀測帶有噪聲，我們需要建立最小二乘模型。如果噪聲符合高斯分布，即最小二乘問題的解對應于原問題的最大似然解。
如果方程組是線性的（很好将測量值和待估計值分離），我們稱問題為線性最小二乘問題，否則稱其為非線性最小二乘問題。
線性最小二乘問題求解方法：
1）非齊次方程組
AX=b
2）齊次方程組
AX=0
SVD分解
非線性最小二乘問題求解方法：
整體能夠看的出來，線性的可以直接解公式，非線性的則需要求導，利用疊代求解
例子1：
假設我們要求重力加速度，h=1/2gt^2
我們測了很多組高度和時間，是以這個問題是線性最小二乘問題，可以用正規方程組法
例子2：
假設我們有一個方程有很多未知數，其中未知數有角度，幂指數等，這些未知數我們無法直接拆解出來
這個問題是非線性最小二乘問題，我們用疊代方法，可以選用高斯牛頓法或者LM法
我們需要首先構造觀測方程：在觀測值和待估參數之間建立的函數關系式。
L為觀測值，f（x）為函數值，V（x）為觀測殘差，x為未知參數組成的向量 最小二乘準測為求x^使得觀測殘差的平方最小
由于LL是恒定的，是以目标函數為
然後利用高斯牛頓法進行疊代求解（這裡有個關鍵問題，你需要對每個變量進行求導，獲得雅可比矩陣，但是你手算求導肯定是很難的，可以借助matlab求導）
設
高斯牛頓