作者：桂。
時間：2017-04-04 08:13:14
連結：http://www.cnblogs.com/xingshansi/p/6664288.html
聲明：歡迎被轉載，不過記得注明出處哦~
【讀書筆記11】
前言
西蒙.赫金的《自适應濾波器原理》第四版第八章：最小二乘法。全文主要包括：
1）矩陣方程問題描述；
2）最小二乘法；
3）最小二乘與最大似然的關系；
4）最小二乘與梯度下降的關系；
内容為自己的學習記錄，其中有借鑒他人的地方，最後一并給對外連結接。
一、矩陣方程問題描述
A-基本問題描述
許多問題都可以模組化成矩陣方程：
${\bf{Ax}} = {\bf{b}}$
其中根據向量
和矩陣
的不同，矩陣方程的求解主要分為以下三類問題：
1）超定矩陣方程；m>n，$\bf{b}$和$\bf{A}$均已知，其中之一或二者可能存在觀測誤差、幹擾；
2）盲矩陣方程：僅向量$\bf{b}$已知，矩陣$\bf{A}$未知；
3）欠定稀疏矩陣方程：m<n，$\bf{b}$和$\bf{A}$均已知.
每一類問題，都有對應的方法：如對于超定矩陣方程，觀測結果足夠多，方程個數大于未知數個數，對應矩陣通常列滿秩（不絕對），可以利用最小二乘得到唯一确定解；對于欠定矩陣方程，方程個數小于未知數個數，得出的解有多種可能，是以通常需要添加限制——例如稀疏性，雖然解有多種，最稀疏的可能隻用一種，這要就得到了唯一确定解。給出問題與對應求解的示意圖：
多說一句，例如對于欠定系數矩陣求解，核心問題為：
這也是稀疏表示和壓縮感覺的核心問題，由于不免帶有噪聲，問題通常松弛為：
B-最小二乘問題
最小二乘根據噪聲類型的不同，可以分為：普通最小二乘、資料最小二乘、總體最小二乘。
此時，向量$\bf{b}$（觀測向量）帶有誤差，對應的問題是：
- 普通最小二乘（Ordinary least squares, OLS）
自适應濾波：最小二乘法 此時，資料矩陣$\bf{A}$帶有誤差，對應的問題是：
- 資料最小二乘（Data least squares，DLS）
自适應濾波：最小二乘法 此時，資料矩陣$\bf{A}$和資料矩陣$\bf{A}$都帶有誤差，對應的問題是：
- 總體最小二乘（Total least squares, TLS）
自适應濾波：最小二乘法
本文僅分析超定方程情況，且隻讨論普通最小二乘（OLS）問題。
二、普通最小二乘求解
普通最小二乘也常被簡稱為：最小二乘法，但細化問題後其實有些亂，這裡仍打算采用普通最小二乘這一說法。
問題描述：
求偏導：
這下就熟悉啦，直接走你，就得到常見的表達式：
怎麼錯了？這裡隻是超定方程（m>n），并沒有說列一定滿秩，是以分兩種情況讨論：
情況1：列滿秩，rank($\bf(A) $) = n
此時 $\left( {{{\bf{A}}^T}{\bf{A}}} \right)$可逆，對應的解唯一，進而有：
情況2：秩虧缺，rank($\bf(A) $) < n
這種情況下，需要借助Moore-Penrose進行廣義逆求解，Moore-Penrose求逆的方法在前文已有介紹，進而有：
秩虧缺情況下，得到的解不再是唯一的，但基于Moore-Penrose的解是唯一的，這就不免有一個問題——它是增加了何種限制？這裡直接給出結論：此時的解為最小範數最小二乘解（minimum norm least squares solution），或者說此時向量對應歐式距離最短.證明可參考：張賢達《矩陣分析與應用第2版》p67.
三、普通最小二乘與最大似然
給出數學模型（以多項式拟合為例，N次拟合，共M組樣本點）：
普通最小二乘準則函數：
最大似然準則：
假設誤差均服從(0,$\delta^2$)的正态分布，則有似然函數：
求對數之後，最大似然準則函數等價于：
二者等價。
四、最小二乘與梯度下降
上文一個大前提就是方程可以轉化為線性變換：
${\bf{Ax}} = {\bf{b}}$
但很多時候不能實作問題的轉化，非線性沒有閉式解，這個時候仍然可以借助梯度下降求解，梯度下降在前文有分析。梯度下降是疊代的方式去逼近最優解，雖然可能是局部最優；而最小二乘是利用矩陣的形式直接得出結果。
參考：
- 張賢達《矩陣分析與應用》.