- 最優化問題
- 一般形式
- 标準形式
- 最優化問題分類
- 經典優化（靜态優化問題）
- 有無限制函數分為有限制的最優化問題和無限制的最優化問題。比較經典的拉格朗日乘子法。
- 根據目标函數和限制函數的函數類型分類：線性最優化問題（整數規劃、0-1規劃）、非線性最優化問題、二次規劃、多目标規劃。
- 現代優化（動态優化問題）
- 動态規劃與最優控制問題 組合優化問題
- 靜态優化
- 動态優化
- 最優解得概念及算法
- 可行域與可行解
- 最優解
- 局部最優解我們可以了解為在高中階段認為函數中的極大值極小值，在某一個範圍内，可能由于學習率步長的原因，暫時沒法跳出這個局部最優點。
- 全局最優解一定是局部最優解，但是局部最優解不一定是全局最優解
- 全局最優就相當于以前的針對容許域内的最小值，局部最優相當于極小值點。
- 範數
- 計算
- 作用：衡量向量的大小
- 定義：
- 0 範數:非0 個數的大小
- 1範數：求取的絕對值
- 2範數：相當于歐式距離，常用
- 無窮範數：求取最大值 max
- p級範數
- 最優解及相關概念
- 可行方向和下降方向
- 可行方向
- 下降方向
- 一般我們取負梯度，都可以選取下降的方向，然後擷取正确的收斂方向。
- 最優解算法的概述
- 算法思想
- 陳陳：尋找最優化問題的最優解，往往需要知道的就是要知道：往哪個方向走（方向），走多遠（步長）。
- 常見的終止準則
- 如何對一個算法進行評價
- 通用性：符合一類算法的計算要求。
- 穩定性 ：計算不能過分繁瑣，不能消耗過多事件。
- 工作量較小：計算複雜度和空間複雜度最好小一點。