《最优化方法》课程复习考试.docVIP

《最优化方法》课程复习考试

定义设．是给定的维非零向量，．如果

存在，则称此极限为在点沿方向的方向导数，记作．

定理2设．如果在点处可微，则在点处沿任何非零方向的方向导数存在，且，其中．

定义设是上的连续函数，．是维非零向量．如果，使得，有（>）．则称为在点处的下降（上升）方向．

定理3设，且在点处可微，如果非零向量，使得（>）0，则是在点处的下降（上升）方向．

定义设．如果在点处对于自变量的各分量的二阶偏导数都存在，则称函数在点处二阶可导，并称矩阵

为在点处的二阶导数矩阵或Hesse矩阵．

定义设，记，如果

在点处对于自变量的各分量的偏导数

都存在，则称向量函数在点处是一阶可导的，并且称矩阵

为在点处的一阶导数矩阵或Jacobi矩阵，简记为．

例2设，求在任意点处的梯度和Hesse矩阵．

解设，则，

因，故得．

又因，则．

例3设是对称矩阵，，称为二次函数，求在任意点处的梯度和Hesse矩阵．

解设，则

，

从而．

再对求偏导得到，于是

．

例4设，其中二阶可导，，试求．

解由多元复合函数微分法知．

定理4设，且在点的某邻域内具有二阶连续偏导数，则在点处有Taylor展式

．

证明设，则．按一元函数Taylor公式在处展开，有

．

从例4得知．

令，有．

根据定理1和定理4，我们有如下两个公式

，

．

§1.3最优化的基本术语

定义设为目标函数，为可行域，．

（1）若，都有，则称为在上的全局（或整体）极小点，或者说，是约束最优化问题的全局（或整体）最优解，并称为其最优值．

（2）若，都有，则称为在上的严格全局（或整体）极小点．

（3）若的邻域使得，都有，则称为在上的局部极小点，或者说，是约束最优化问题的局部最优解．

（4）若的邻域使得，都有，则称为在上的严格局部极小点．

第二章最优性条件

§2.1无约束最优化问题的最优性条件

定理1设在点处可微，若是问题的局部极小点，则．

定义设在处可微，若，则称为的平稳点．

定理2设在点处具有二阶连续偏导数，若是问题的局部极小点，则，且半正定．

定理3设在点处具有二阶连续偏导数，若，且正定，则是问题的严格局部极小点．

注：定理2不是充分条件，定理3不是必要条件．

对于无约束最优化问题，其中，显然

，令，得的平稳点，而且

．

易见为半正定矩阵．

但是，在的任意邻域，总可以取到，使，即不是局部极小点．

对于无约束最优化问题，其中，

易知，从而得平稳点，并且

．

显然不是正定矩阵．但是，在处取最小值，即为严格局部极小点．

求解下面无约束最优化问题，

其中，

解因为

，

所以令，有

解此方程组得到的平稳点．

从而

，

．

由于和是不定的，因此和不是极值点．是负定的，故不是极值点，实际上它是极大点．是正定的，从而是严格局部极小点．

定理4设是凸函数，且在点处可微，若，则为的全局极小点．

推论5设是凸函数，且在点处可微．则为的全局极小点的充分必要条件是．

例4试证正定二次函数有唯一的严格全局极小点，其中为阶正定矩阵．

证明因为为正定矩阵，且，所以得的唯一平稳点．又由于是严格凸函数，因此由定理4知，是的严格全局极小点．

§2.2等式约束最优化问题的最优性条件

定理1设在点处可微，在点处具有一阶连续偏导数，向量组线性无关．若是问题

的局部极小点，则，使得

．

称为Lagrange函数，其中．

称为Lagrange乘子向量．

易见，这里．

定理2设和在点处具有二阶连续偏导数，若，使得，并且，，只要，便有，则是问题

的严格局部极小点．

试用最优性条件求解

解Lagrange函数为，则，

从而得的平稳点和，对应有

和．

由于．

因此

．

并且，有．

利用定理2，所得的两个可行点和都是问题的严格局部极小点．

§2.3不等式约束最优化问题的最优性条件

定义设，若，使得，，

则称为集合在点处的可行方向．

这里．

令，

．

定理1设是非空集合，在点处可微．若是问题的局部极小点，则．

对于

（1）

其中．

令，其中是上述问题（1）的可行点．

定理2设是问题（1）的可行点，和在点处可微，在点处连续，如果是问题（1）的局部极小点，则，

其中．

定理3设是问题（1）的可行点，和在点处可微，在点处连续，若是问题（1）的局部极小点，则存在不全为0的非负数，使

．（称为FritzJohn点）

如果在点处也可微，则存在不全为0的非负数，使

（称为FritzJohn点）

设试判断是否为FritzJohn点．

解因为，且，

所以为使FritzJohn条件成立，只有才行．取即可，因此是Fri