學習筆記，僅供參考，有錯必糾
近似點梯度下降算法
這一部分考慮的問題主要是
這裡面是全空間可導的凸函數，，是存在不可導部分的凸函數，并且一般需要的近似點計算較為簡單.
近似點梯度下降算法是什麼呢？
這裡跟之前的梯度下降(GD)和次梯度下降(SD)的形式都不太一樣，實際上看了後面的推導會發現經過轉換他們還是很像的。不過怎麼了解這個式子呢？舉一個例子，假如是集合的訓示函數，如下圖所示, 這個式子實際上是先沿着的梯度走步長，然後再投影到集合 裡面。考慮原始優化問題，本身是一個無限制優化問題，但把用一個限制函數表示，他就是一個帶限制的優化問題，而近似點梯度下降方法要做的事情就是先優化 ，然後投影到限制區域中。
根據的定義，我們把上面的式子展開可以得到
可以發現括号裡面的式子實際上就是在附近對光滑的進行了二階展開，而就是對近似後函數取最小值點。再進一步地
可以發現實際上就近似為函數的次梯度，但并不嚴格是，因為。而此時我們也可以将 寫成比較簡單的形式
這跟之前的梯度下降法就統一了，并且也說明了就相當于是的梯度。