数值解法

数值解法，就是迭代法，利用迭代公式xk+1=xk+akdk。ak为第k次迭代的步长，dk为第k次迭代的搜索方向。根据搜索方向的构成分两类：一类为利用目标函数一阶和二阶导数的无约束优化方法有【最速下降法】，【共轭梯度法】，【牛顿法】，【变尺度法】，另一类只利用目标函数值【坐标轮换法】，【单形替换法】，【鲍威尔法】。重点是【牛顿法】、【共轭梯度法】、【鲍威尔法】。

【最速下降法】：利用负梯度方向。dk=—▽f（xk）

步长：取一维搜索的最佳步长。xk+1=xk—▽f（xk）ak

mina （fxk—▽（fxk）ak）→d[f（xk—▽（fxk）ak）]/da=0 【待定系数法】

特点：相邻两次迭代方向垂直；非常适合等值线为同心圆的目标函数（一些特殊函数可以进行尺度变换）；越接近极值点收敛速度越慢。

【牛顿法】：多元函数的牛顿迭代法xk+1=xk—（▽2f（xk））-1▽f（xk）【xk+1=xk—G-1▽f（xk）】

牛顿方向：—G-1▽f（xk），步长为1

阻尼牛顿法：步长为ak，取一维搜索的最佳步长。

【共轭方向法】：专门处理二次函数。原理：从任意点出发，顺次m个G的共轭方向d0…dm-1进行一维搜索，最多经历m次迭代后找到二次函数f（x）=1/2xTGx+bTx+c的极小值。

对于共轭方向的产生，分【共轭梯度法】和【鲍威尔法】。

【共轭梯度法】：共轭矢量根据负梯度构造的

方向：d0为负梯度方向—g0；d1和d1之后的方向为g1（或gk+1）和g0（或gk+1）作差后的共轭方向，计算为：d1=—g1+（丨g1丨2/丨g0丨2）* d0。

步长为ak，取一维搜索的最佳步长。

【鲍威尔法】：直接利用两个点的梯度构造共轭方向。

x0→e1，e2（线性无关）→x10、x20→d1= x20—x10→e2，d1→x11、x21→d2= x21—x11→d2，d1…

改进：判断原矢量组是否需要替换。（判别条件）