最优化 最速下降法.ppt

最速下降法与阻尼牛顿法的比较 11 信息与计算科学 陈伟民 118632011068 内容概述 ? 一、算法思想 ? 二、算法伪代码 ? 三、程序 ? 四、实验数据 ? 五、结论 一、算法思想 ? 1 、最速下降法： ? 最速下降法是求解无约束优化问题最简单和古老的方法之一， 虽然时至今日它不再具有使用性，但它却是研究其他无约束 优化算法的基础，许多有效算法都是以它为及基础通过改进 或修正而得到的。 ? 2 、阻尼牛顿法 ? 初始点需要足够“靠近”极小点，否则，有可能导致算法不 收敛。由于实际问题的精确极小点一般是不知道的，因此， 初始点的选取给算法的实际操作带来了很大的困难，为了克 服这一困难，可引入线搜索技术以得到大范围收敛的算法， 即所谓的阻尼牛顿法 . 给出一个基于 Armijo 搜索的阻尼牛顿法。 二、算法伪代码 1 、最速下降法伪代码： 1 ）选取初始点 , 容许误差 . 令 k:=1. 2 ）计算 . 若 停算，输出 作为近似 最优解 . 3 ） 取方向 . 4 ）由线搜索技术确定步长因子 . 5 ）令 ， k:=k+1 ，转 1. ( ) k k g f x ? ? k g ? ? 0 1 ? ? k g ? ? k x k k d g ? ? k a 1 : k k k k x x a d ? ? ? 二、算法伪代码 2 、阻尼牛顿法伪代码： 1 、给定终止误差值 ， ， . , . 初始点 . 令 k:=0. 2 、计算 ，若 ，停算，输出 . 3 、计算 ，并求解线性方程组得解 ， . 4 、记 是满足下列不等式的最小非负整数 m. 5 、令 ，转 1. 1 , , : 1 mk k k k k k x x d k k ? ? ? ? ? ? ? ? ? (0,1) ? ? (0,0.5) ? ? 0 n x ? ( ) k k g f x ? ? k g ? ? * k x x ? 2 ( ) k k G f x ? ? k d k k G d g ? ? k m ( ) ( ) m m T k k k k k f x d f x g d ? ?? ? ? ? 1 , , : 1 mk k k k k k x x d k k ? ? ? ? ? ? ? ? ? 三、程序 1 、最速下降法程序 ? grad.m ? function [x,val,k]=grad(fun,gfun,x0) ? maxk=5000; ? rho=0.5;sigma=0.4; ? k=0;epsilon=1e-5; ? while(kmaxk) ? g=feval(gfun,x0); ? d=-g; ? if(norm(d)epsilon),break,end ? m=0;mk=0; ? while(m20) ? if(feval(fun,x0+rho^m*d)feval(fun,x0)+sigma*rho^m*g*d) ? mk=m;break; ? end ? m=m+1; ? end ? x0=x0+rho^mk*d; ? k=k+1; ? end ? x=x0; ? val=feval(fun,x0); gfun.m ? function g=gfun(x) ? xx=x; ? n=numel(x); ? for i=1:n ? syms ([x,num2str(i)]