提要
最優化問題
屬應用數學問題,指在一定條件限制下,選取某種研究方案使目标達到最優的
一種方法
常見最優化方法
梯度下降法;牛頓法;共轭梯度法;啟發式優化方法
相關概念及應用
Hessian矩陣
正定性
機器學習和優化問題比較
機器學習,通常是建立優化模型,通過最優化方法優化損失函數,訓練出最好
的模型
最優化問題解法
間接法 (解析法)
系統模型具有明确的數學解析表達式的最優化問題,根據函數極值的必要條件和充分條件
求出其最優解析解
直接法 (數值解法)
無法用明确的數學解析表達式表達其系統模型,通過數值計算,在經過疊代過程産生的點列中
直接搜尋,使其逐漸逼近最優點
以解析法為基礎的數值解法
以梯度法為基礎,将解析法與數值計算相結合的最優化求解方法
網絡最優化方法
以網絡圖作為數學模型,用圖論方法進行搜尋的最優化求解方法
現代優化算法
運用現代智能計算方法,如遺傳算法、模拟退火算法、蟻群算法等,進行直接搜尋的最優化求解方法