非線性優化
條件、目标函數中隻要存在關于未知參數的非線性項，則為非線性優化
泰勒展開
将任意複雜的函數近似地表示為一個簡單的多項式
一進制函數
多元函數
注：多元函數的泰勒展開中 ∇f(X),f(X)為向量，H為矩陣
黑賽矩陣
注：黑塞矩陣為一個n階實對稱方陣
二次函數
無限制優化問題的極值條件
一進制函數
多元函數
凸函數
一進制凸函數
多元凸函數
凸集的定義
多元凸函數的定義
多元函數是凸函數的必要條件
凸規劃：目标函數與限制條件都為凸函數
限制優化問題的極值條件
舉兩個例子
例1 限制條件對最優解的求取無影響。将該限制條件稱為不起作用的限制條件
例3 由于f(X)為非凸函數，存在兩個最優解
例4 由于D為非凸集，存在兩個最優解
K-T條件
一點處限制條件的梯度方向與目标函數的梯度反方向不同
一個限制條件
限制線的切線與等值線的切線的夾角稱為可用角
角範圍内的任意一個方向稱為可用方向
一個限制條件
如果X*為極值點，則可用角為0，沒有可用方向
一個限制條件
X*為極值點，則目标函數負梯度在兩個限制的梯度方向之間
兩個限制條件
對于兩個限制則為夾角，多個限制就成了錐角。換句話說，即等值線負梯度可以由限制梯度線性表示
對于凸規劃問題，K-T條件可以确定極小值，即充要條件
對于非凸規劃，K-T條件隻是必要條件
優化設計的基本思想與疊代終止準則
給定初始點，找一個合适的方向，合适的步長，則找到下一個點
如此下去，找到X*
如何選擇搜尋方向，如何選取步長
由于是數值計算，也不可能疊代到X*，隻要求與X*接近即可