L1正則化進行稀疏選擇的數學解釋

令 L ( w ) = l 0 ( w ) + λ ∑ ∣ w i ∣ L(w)=l_0(w)+\lambda\sum|w_i| L(w)=l0​(w)+λ∑∣wi​∣，

則 ∂ L ( w ) ∂ w i = ∂ l 0 ( w ) ∂ w i + λ s i g n ( w i ) \dfrac{\partial L(w)}{\partial w_i}=\dfrac{\partial l_0(w)}{\partial w_i}+\lambda sign(w_i) ∂wi​∂L(w)​=∂wi​∂l0​(w)​+λsign(wi​)。

由于 λ s i g n ( w i ) \lambda sign(w_i) λsign(wi​)在0的左右兩側分别取值為 − λ -\lambda −λ和 λ \lambda λ，

是以當 ∣ λ ∣ |\lambda| ∣λ∣足夠大時（ > ∣ ∂ l 0 ( w ) ∂ w i ∣ >|\dfrac{\partial l_0(w)}{\partial w_i}| >∣∂wi​∂l0​(w)​∣）， ∂ L ( w ) ∂ w i \dfrac{\partial L(w)}{\partial w_i} ∂wi​∂L(w)​在0的左右兩側将異号，則0是 L ( w ) L(w) L(w)的一個局部極小值點，在凸優化中即是一個全局最小值點。