最優方向法（MOD）

算法描述

求解模型：

min∑i∥xi∥0s.t.∥Y−DX∥2F≤ε

或

min∥Y−DX∥2Fs.t.∑i∥xi∥0≤T0

MOD（Method of Optimal Direction）是早期的基于樣本學習的字典學習算法. 設目标函數中X已知，信号的誤差定義如下：

∥E∥2F=∥Y−DX∥2F

MOD算法更新字典的政策就是實作表征誤差最小化，是以公式兩端針對D求偏導，會推到出(Y−DX)XT=0，整個字典的更新過程如下：

Dn+1=Y(Xn)T⋅(Xn(Xn)T)−1

一般MOD算法需要幾十次疊代即可收斂是一個比較可行的方法。缺點在于運算中需要對矩陣求逆，造成計算量過大.

流程描述

輸入：訓練樣本集X={xi}Ni=1

輸出：字典D∈Rn×m(m>n)

初始化：随機構造一個字典初值D(0)∈Rn×m，并進行列歸一化，疊代次數J=1

1. 求解稀疏系數：min∑i∥xi∥0s.t.∥Y−DX∥2F≤ε
2. 更新字典：DJ+1=argmin∥Y−DX∥2F=Dn+1=Y(Xn)T⋅(Xn(Xn)T)−1
3. J=J+1