非线性优化
条件、目标函数中只要存在关于未知参数的非线性项，则为非线性优化
泰勒展开
将任意复杂的函数近似地表示为一个简单的多项式
一元函数
多元函数
注：多元函数的泰勒展开中 ∇f(X),f(X)为向量，H为矩阵
黑赛矩阵
注：黑塞矩阵为一个n阶实对称方阵
二次函数
无约束优化问题的极值条件
一元函数
多元函数
凸函数
一元凸函数
多元凸函数
凸集的定义
多元凸函数的定义
多元函数是凸函数的必要条件
凸规划：目标函数与约束条件都为凸函数
约束优化问题的极值条件
举两个例子
例1 约束条件对最优解的求取无影响。将该约束条件称为不起作用的约束条件
例3 由于f(X)为非凸函数，存在两个最优解
例4 由于D为非凸集，存在两个最优解
K-T条件
一点处约束条件的梯度方向与目标函数的梯度反方向不同
一个约束条件
约束线的切线与等值线的切线的夹角称为可用角
角范围内的任意一个方向称为可用方向
一个约束条件
如果X*为极值点，则可用角为0，没有可用方向
一个约束条件
X*为极值点，则目标函数负梯度在两个约束的梯度方向之间
两个约束条件
对于两个约束则为夹角，多个约束就成了锥角。换句话说，即等值线负梯度可以由约束梯度线性表示
对于凸规划问题，K-T条件可以确定极小值，即充要条件
对于非凸规划，K-T条件只是必要条件
优化设计的基本思想与迭代终止准则
给定初始点，找一个合适的方向，合适的步长，则找到下一个点
如此下去，找到X*
如何选择搜索方向，如何选取步长
由于是数值计算，也不可能迭代到X*，只要求与X*接近即可