《最小二乘法原理及算例》.ppt

最小二乘法原理及算例;实例讲解;数据表格;;　;计算出它的正规方程得 解得： a=0.15 , b=0.859 直线方程为：y*=0.15+0.859x ;一 问题的提出 插值法是使用插值多项式来逼近未知或复杂函数的，它 要求插值函 数与被插函数在插值节点上函数值相同 ，而在其他点上没有要求。在非 插值节点上有时函数值会相差很大 。若要求在被插函数的定义区间上， 所选近似函数都能与被插函数有较好的近似，就是最佳逼近问题。 最佳逼近是在函数空间 M中选 P(x) 满足 但由于绝对值函数不宜进行分析运算,常将上式化为 来讨论 ，于是最佳逼近问题变为最佳平方逼近问题 ,而离散的最佳平方逼 进问题就是常说的曲线拟合 它们都可用最小二乘法求解。 ;曲线拟合的最小二乘法; ?最小二乘法的求法;;?最小二乘法的几种特例;;例 题;;二 线性最小问题的存在与唯一;2 最小二乘解的存在性与唯一性 定理 ：x* 为Ax=b 的最小二乘解充要条件 AT A X * =AT b 证明 ：充分性：若存在X* ，使 AT A X * =AT b 则对任意向量 令 x?=x* +y 有 ?? b– Ax ?? 22 = ?? b –AX*?? 22–2（y，AT（ b –AX*））+ ?? A y ?? 22 = ?? b –AX*?? 22 + ?? A y ?? 22 ? ?? b –AX*?? 22 ?X*为Ax=b的最小二乘解。 必要性： 令 ?? b –AX?? 22=?（x1，x2，?，x n）= ?（x） 则由多元函数极值的必要条件知，若X*为极值点， 则 ? ?（x） | —— | =0 ? x i |x=x* ;而?（x1，x2，?，x n）=b T b – 2Ax+（Ax）TAx ? ?（x） 由 —— =0 （i=1，2， ? n） ATAx=ATb。 ? x i ?若x*为Ax=b最小二乘解，则AT A x *=ATb。证毕 AT A x =AT b 称为最小二乘问题的 Ax=b法方程组。当A =（aIj）m?n 的秩为n ，既A的列线性无关时， AT A x =AT b有唯一解。 ;三 线形模型的正规方程; n 设离散数据模型 ?（x）= ?c j ?j（x） j=0 则求解归结为 n+1元函数S的 极值问题: m n S（c0，c1，…，c n）= ? ?i [ y i ˉ? c j ?j（xi）] 2 i=0 j=0 显然S达最小值必要条件是 ? S m n — =2 ? ?i [ y iˉ ? c j ?j（xi）] ? k（x i）= 0 ? C k i=0 j=0 （k=0 ，1，…，n） 这是关于 c0，c1，…，c n 的方程组， n 改写成 ? （?j ，? k) c j =(y, ? k ) (k=0,1,2,…n)称为正规方程组 j=0 其中 m n （?j ，? k )= ? ? ?i ?j（xi） ? k（x i） i=0 j=0;一般，n < m，函数 ? 0，?1，…，?n，线性无关能保证 正规方程组的系数矩阵 ? （? 0，? 0 ）（?1，? 0 ）…， （?n ， ? 0 ）