最小二乘法及其应用.ppt

最小二乘法及其应用; 最小二乘法是求解最优化问题的一种有效而方便的方法。信号处理中有许多问题可归结为最优化问题，因此最小二乘法是信号处理的重要工具之一。 希尔伯特空间中线性逼近问题的求解方法称为最小二乘法。通常它有三种不同的表现形式：投影法、求导法和配方法。下面来分别说明。; 设X为希尔伯特空间， 为X中一组归一化正交元素，x为X中的某一元素。在子空间 中求一元素m。使得; 第二章中的投影定理指出了最优系数 应满足; 这种求解方法称为投影法，它是最小二乘法的第一种表现形式。第二种方法是求导法，仍以上面的问题为例来说明。记泛函;其中 。于是最优的 应满足 即; 以上三种方法都称为最小二乘法。在实际应用中，他们各有各的优势和缺陷，我们并不能通过简单的比较来说明他们谁优谁劣，因为衡量一种方法好坏的标准是多方面的。因此，在不同的场合根据不同的需要和可能，灵活选择和使用合适的方法，是掌握最小二乘法的关键。; 利用令导数等于零来求函数的极值是一种方便的方法。但是对于多元函数，有时由于变元太多而使表达式相当繁复，为此，本节介绍用向量-矩阵的形式来简化求导过程。 下面举例个例子来具体说明。 例3-2-1 求矛盾方程组Ax=b的最小二乘 解（可参阅第二章的相关例题）; 解：求Ax=b的最小二乘解就是求 的极小点。由于;利用式（3-2-1）和（3-2-2）可以立即得到;可以看出，;需要说明的是，算符 只有作用在关于 的标量函数上才有意义。例如对于二次型 由于 ，故; 设有如图3-3-1所示的系统T。当输入n个数据 时，输出为y，且有下列线性关系：; 现设进行了m次观测，观测值为 和 ;若记 及 则方程（3-3-2）成为;进而考察多输入多输出的情形。关系式为 其中;则系统的辨识问题就是求A使之满足;问题（3-3-9）可以用配方法来求解：;矩阵 的范数定义为;式（3-3-12）的形式与（3-3-9）类似，但应注意在此处 是标量函数。她可以完全类似于式（3-3-10）那样来配方而求解，也可体用求导法来求解。由于; 数据压缩是指在传输或存储信号时对信号数据量进行压缩。实际中的信号往往都是维数很高的随机数据向量。各种数据间的相关性也很大，简单的随意压缩会导致数据严重失真。按照最优化原则设计的数据压缩技术可以解决通讯和数据传输系统的信道容量不足和计算机存储容量不足的问题，因而是一种从容量方面提高系统使用效率的重要技术。;下面向大家介绍一种有效的数据压缩方法。其思想是对信号作正交变换，根据失真最小的原则在变幻域进行压缩。其框图如下所示。;其中变幻矩阵T的列向量为 满足;我们的问题是：如何选取变幻矩阵T和常数 ，y的那些分量被压缩掉，才能使 最接近x，即均方误差最小：;由此式可知，要使 达到最小，应有;其中 是随机向量x的协方差阵。由式（3-3-22）可考虑如何选择T的行向量 使 达到极小。注意到 是归一化正交的。为求 在条件 下的极值，令;这表明 是协方差阵 的特征值，而 是相应的特征向量，很显然,T取成x的卡享南-洛厄维变换是最合理的，此时的最小均方误差为;根据此式，我们可先把非负定矩阵 的特征值按大小次序排列， 然后根据实际问题对均方误差的要求选择m，使得 小于指定的误差（即选择满足此条件的最小的m），把n-m个较小的特征值 所对应的 换成 。;特别地，如果取E{x}=0(通常的信号经过预处理后可满足此条件），则取 ，至此，前面提出的问题便全部解决。 ; 由于卡享南-洛厄维变换需要知道矩阵的特征值和特征向量，其计算量非常大，因此在实际应用中通常都使用固定程式的有限正交变换。尽管这些变换不是最佳的，但实践和理论表明它