02(b)多元無限制優化問題

此部分内容接02(a)多元無限制優化問題的内容！

第一類：最速下降法(Steepest descent method)

\[f({{\mathbf{x}}_{k}}+\mathbf{\delta })\approx f({{\mathbf{x}}_{k}})+{{\nabla }^{T}}f({{\mathbf{x}}_{k}})\cdot \mathbf{\delta }\]

要使新找到的一點${{\mathbf{x}}_{k}}+\mathbf{\delta }$的函數值小于原來點${{\mathbf{x}}_{k}}$的函數值，即：

\[f({{\mathbf{x}}_{k}}+\mathbf{\delta })-f({{\mathbf{x}}_{k}})={{\nabla }^{T}}f({{\mathbf{x}}_{k}})\cdot \mathbf{\delta }=\left\| \nabla f({{\mathbf{x}}_{k}}) \right\|\cdot \left\| \mathbf{\delta } \right\|\cos \theta <0\]

其中$\theta $為梯度向量$\nabla f({{\mathbf{x}}_{k}})$和方向向量$\mathbf{\delta }$的夾角，由上式可見當$\theta =\pi $時$f({{\mathbf{x}}_{k}}+\mathbf{\delta })$

與$f({{\mathbf{x}}_{k}})$的內插補點在滿足(8)式的情況下達到最大，即$\mathbf{\delta }$應取與梯度向量相反的方向$-\nabla f({{\mathbf{x}}_{k}})$。故此時使函數$f(\mathbf{x})$在點${{\mathbf{x}}_{k}}$下降速度最快的方向為：

${{d}_{k}}=-\nabla f({{\mathbf{x}}_{k}})$。

Step3：通過Step2确定下降方向${{\mathbf{d}}_{k}}$之後，$f({{\mathbf{x}}_{k}}+{{\alpha }_{k}}{{\mathbf{d}}_{k}})$可以看成${{\alpha }_{k}}$的一維函數，這一步的主要方法有(Dichotomous search, Fibonacci search, Goldensection search, quadratic interpolation method, and cubic interpolation method)；所确定一個步長${{\alpha }_{k}}>0$，${{\mathbf{x}}_{k+1}}={{\mathbf{x}}_{k}}+{{\alpha }_{k}}{{\mathbf{d}}_{k}}$；

Step4： if走一步的距離$\left\| {{\alpha }_{k}}{{\mathbf{d}}_{k}} \right\|<\varepsilon $，則停止并且輸出解${{\mathbf{x}}_{k+1}}$；else $k:=k+1$并傳回Step2，繼續疊代。