第二讲-最速下降法.ppt

自适应信号处理第二讲最速下降算法Y.J.Pang最速下降法（methodofsteepestdescent）是一种基于梯度的自适应方法。最速下降法可用反馈系统来表示，滤波器的计算式一步一步迭代进行的。从该意义上讲，最速下降法是递归的。在适当条件下，最速下降法的解收敛于维纳解而不需要求输入向量相关矩阵的逆矩阵。使代价函数J获得最小值的充要条件是其对应的估计误差e(n)于n时刻进入期望响应估计的每个输入样值。2.1最速下降法的基本思想局部迭代下降思想首先假设一个初始权向量，然后产生一系列权向量能够使代价函数在算法的每次迭代都是下降的，也就是满足如下表达式最速下降法其实就是一种简单形式的迭代下降，它主要思想是沿着最速下降方向连续不断调整权向量。最速下降方向也就是负梯度方向梯度向量表示如下通过以上可得最速下降算法其中n表示迭代进程，是步长参数，是正常数。在从n到n+1的迭代过程中，权向量的调整量为证明其满足迭代下降的思想首先列出一阶泰勒展开式趋近于无穷小将代价函数在处进行一阶泰勒展开，可得假设w为复值向量，那么梯度向量g也是复值向量。所以使用共轭转置（埃尔米特转置）因此上式可变为从上式可以看出当为正数时，因此，随着n的增加，代价函数减小，当时，代价函数趋于最小值。2.2最速下降算法应用于维纳滤波器通过比较期望响应及其估计值，可以得到一个估计误差即其中是抽头权向量与抽头输入向量的内积如果抽头输入向量u(n)和期望响应d(n)是联合平稳的，则此时均方误差或者在n时刻的代价函数J(n)是抽头全向量的二次函数。横向滤波器的代价函数为所以展开可得其中，是目标函数的方差P=抽头输入向量与期望响应的互相关向量R=抽头输入向量的相关矩阵同时梯度向量可写为因此维纳滤波中最速下降法的数学表达式为:从另一个角度，可以将上公式看做一个反馈模型，信号流图如下2.3最速下降法的稳定性影响该算法的稳定性有两个因素：（1）步长参数（2）抽头输入向量的相关矩阵R首先定义n时刻的加权误差向量其中是抽头权向量的最优值使用特征值分解可得将R代入上公式可得两边同时左乘令v(n)的初始值为：对于最速下降法的第k个自然模式，并初始化可以得到为了满足最速下降法的稳定性或收敛性，对于所有k，我们可以有因此最速下降法稳定性的充分必要条件是步长因子满足不等式从图中可以看出，当迭代次数趋近于无穷时，趋近于0也就是抽头加权向量逼近最优解由上图我们可以定义一个时间常数使得表示了衰减到初始值的时所需要的迭代次数初始抽头加权向量的瞬态特性两边同时左乘因此第i个抽头权值的瞬态特性可以表示为其中是第i个抽头权值的最优值，是第k个特征向量的第i个分量上式表明，最速下降算法中每一个抽头权值收