最优化方法第四章杨磊B.ppt

* * (4.4.7)成为 (4.4.8) 如果f (x)是正定二次函数, 上述关系式(4.4.8)精确成立 要求在拟牛顿法中构造出来的Hesse近似Bk+1满足这种关系,从而得到 (4.4.9) 上式称为拟牛顿条件或拟牛顿方程. 如果令 , 则拟牛顿条件为 (4.4.10) 拟牛顿迭代为 (4.4.11) 或 (4.4.12) 拟牛顿条件的插值性质 如果Bk+1满足拟牛顿条件(4.4.9), 那么在xk+1点的二次模型 (4.4.13) 满足 (4.4.14) 拟牛顿算法步骤 算法4.4.1 算法4.4.1 步1. 给出初始点 步2. 如果 , 停止. 步3. 解 得搜索方向dk; (或计算 ). 步4. 由线性搜索求步长因子αk, 并令xk+1= xk +αkdk. 步5. 校正Bk产生Bk+1( 或校正Hk产生Hk+1), 使得拟牛顿条件(4.4.9)(或(4.4.10))成立 步6. k: =k+1, 转步2. 初始Hesse的选取 拟牛顿法中, 初始Hesse近似B0通常取为单位矩阵, 即B0= I 这样, 拟牛顿法的第一次迭代等价于一个最速下降迭代 拟牛顿法的优点 (1) 仅需一阶导数. (牛顿法需二阶导数). (2) Bk(或Hk)保持正定, 使得方法具有下降性质.(在牛顿法中, Gk可能不正定). (3) 每次迭代需 次乘法运算.(牛顿法需 次乘法运算). (4) 搜索方向是相互共轭的, 从而具有二次终止性. (5) 具有超线性收敛性. 拟牛顿法范数 (4.4.15) 事实上, 由 (4.4.16) 知 越小, 目标函数下降得越快, 故极小化问题 (4.4.17) 的解就是f (x) 在椭球范数‖ · ‖Bk意义下在xk处下降最快的方向 广义Cauchy-Schwartz不等式 (4.4.18) 且当 时等式成立, 这时 取极小. 于是得到问题(4.4.17)的解为 (4.4.19) . 因此, 拟牛顿方向 (4.4.20) 是在椭球范数‖·‖Bk意义下f (x) 在xk处的最速下降方向 由于在每一次迭代中尺度矩阵Bk总是变化的, 故方法 也叫做变尺度方法. 4.4.2 DFP校正和BFGS校正 DFP 校正是第一个拟牛顿校正, 是1959 年由Davidon 提出的, 后来由Fletcher和Powell(1963)解释和发展的. BFGS校正是目前最