天天看點

最優化方法

提要

最優化問題

屬應用數學問題,指在一定條件限制下,選取某種研究方案使目标達到最優的

一種方法

常見最優化方法

梯度下降法;牛頓法;共轭梯度法;啟發式優化方法

相關概念及應用

Hessian矩陣

正定性

機器學習和優化問題比較

機器學習,通常是建立優化模型,通過最優化方法優化損失函數,訓練出最好

的模型

最優化問題解法

間接法 (解析法)

系統模型具有明确的數學解析表達式的最優化問題,根據函數極值的必要條件和充分條件
求出其最優解析解
直接法 (數值解法)

無法用明确的數學解析表達式表達其系統模型,通過數值計算,在經過疊代過程産生的點列中

直接搜尋,使其逐漸逼近最優點

以解析法為基礎的數值解法
以梯度法為基礎,将解析法與數值計算相結合的最優化求解方法
網絡最優化方法
以網絡圖作為數學模型,用圖論方法進行搜尋的最優化求解方法
現代優化算法
運用現代智能計算方法,如遺傳算法、模拟退火算法、蟻群算法等,進行直接搜尋的最優化求解方法

繼續閱讀