人工神经网络函数、导数、最值.ppt

* 搜索寻优－－梯度下降 * 目标函数局部极小点2 * 目标函数局部极小点2 * 目标函数局部极小点2 * 目标函数局部极小点2 * 目标函数局部极小点2 * * * * 局部极小点1 * 局部极小点2 * 目标函数曲面J(W) * 目标函数曲面J(W) --连续 * 目标函数曲面J(W) --连续、可微 * 初始状态1 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 目标函数全局极小点 * 目标函数全局极小点 * 目标函数全局极小点 * 目标函数全局极小点 * 目标函数曲面 * 初始状态2 * 初始状态2 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 * 搜索寻优－－梯度下降 例：求下列函数的极值 f (x)＝2x3－3x2 解： f '(x)＝6x2－6x，f "(x)＝12x－6 令6x2－6x＝0，得驻点为x1＝1，x2＝0 ∵f "(1)＝6＞0，f "(0)＝－6＜0 把x1＝1，x2＝0代入原函数计算得f (1)＝－1、f (0)＝0 ∴当x＝1时，y极小＝－1，x＝0时，y极大＝0 函数极值的判定 例：求下列函数的极值 f (x)＝sinx＋cosx，x∈[0,2π] 解： f '(x)＝cosx－sinx，令cosx－sinx＝0， 得驻点为x1＝ ，x2＝ ，又f "(x)＝－sinx－cosx， 把x1＝ ，x2＝ 代入原函数计算得 f ( )＝ 、f ( )＝－ 。所以当x＝ 时，y极大＝ ， x＝ 时，y极小＝－ [注意] 如果f '(x0)＝0，f "(x0)＝0或不存在，本定理无效，则需要考察点x0两边f '(x0)的符号来判定是否为函数的极值点。 函数极值的判定 实例 问题的实质： 问题 ：一块长方形的金属板，四个顶点的坐标是 (1,1)，(5,1)，(1,3)，(5,3)．在坐标原点处有一个火焰， 它使金属板受热．假定板上任意一点处的温度与该点 到原点的距离成反比．在(3,2)处有一个蚂蚁， 问这只蚂蚁应沿什么方向爬行才能最快到达较凉快的地点？ 应沿由热变冷变化最骤烈的方向（即梯度方向）爬行． 梯度的概念 在几何上 表示一个曲面 曲面被平面 所截得 所得曲线在xoy面上投影如图 等高线 梯度为等高线上的法向量 梯度的概念 等高线的画法 等高线的画法 等高线的画法 等高线的画法 等高线的画法 等高线的画法 等高线的画法 等高线的画法 等高线的画法 等高线的画法 例如, 等高线的画法 梯度与等高线的关系： 类似于二元函数，此梯度也是一个向量， 其方向与取得最大方向导数的方向一致， 其模为方向导数的最大值. 梯度的概念可以推广到三元函数 梯度的概念可以推广到三元函数 在 处梯度 解 由梯度计算公式得 故 梯度的概念可以推广到三元函数 * 梯度下降法又称最速下降法。函数J(a)在某点ak的梯度 是一个向量，其方向是J(a)增长最快的方向。显然，负梯度方向是J(a)减少最快的方向。 在梯度下降法中，求某函数极大值时，沿着梯度方向走，可以最快达到极大点；反之，沿着负梯度方向走，则最快地达到极小点。 梯度下降法 梯度下降法 * 求函数J(a)极小值的问题，可以选择任意初始点a0 ，从a0出发沿着负梯度方向走，可使得J(a)下降最快。 s(0)：点a0的搜索方向。 梯度下降法 * 对于任意点ak，可以定义ak点的负梯度搜索方向的单位向量为: 从ak点出发，沿着 方向走一步，步长为 ,得到新点ak+1,表示为： 梯度下降法 * 梯度下降法 * 因此，在新点ak+1，函数J(a)的函数值为： 所有的ak组成一个序列，该序列由迭代算法生成 a0, a1, a2, …. , ak, ak+1, ... 该序列在一定条件下收敛于使得J(a)最小的解a* 迭代算法公式： 梯度下降法 * 迭代算法公式： 关键问题：如何设计步 长 如果选得太小，则算法收敛慢，如果选