最小二乘法及其应用.pdf

最小二乘法及其应用 1( 引言 最小二乘法在 19 世纪初发明后 , 很快得到欧洲一些国家的天文学家和测地学家 的广泛关注。据不完全统计 , 自 1805 年至 1864 年的 60 年间 , 有关最小二乘法的研 究论文达 256 篇 , 一些百科全书包括 1837 年出版的大不列颠百科全书第 7 版 , 亦收 入有关方法的介绍。同时 , 误差的分布是“正态”的 , 也立刻得到天文学家的关注及 大量经验的支持。如贝塞尔 ( F. W. Bessel, 1784 — 1846)对几百颗星球作了三组观测 , 并比较了按照正态规律在给定范围内的理 论误差值和实际值 , 对比表明它们非常接近一致。拉普拉斯在 1810 年也给出了正态 规律的一个新的理论推导并写入其《分析概论》中。正态分布作为一种统计模型 , 在 19 世纪极为流行 , 一些学者甚至把 19 世纪的数理统计学称为正态分布的统治时 代。在其影响下 , 最小二乘法也脱出测量数据意义之外而发展成为一个包罗极大 , 应 用及其广泛的统计模型。到 20 世纪正态小样本理论充分发展后 , 高斯研究成果的影 响更加显著。最小二乘法不仅是 19 世纪最重要的统计方法 , 而且还可以称为数理统 计学之灵魂。相关回归分析、方差分析和线性模型理论等数理统计学的几大分支都 以最小二乘法为理论基础。正如美国统计学家斯蒂格勒 ( S. M. Stigler) 所 说, “最小二乘法之于数理统计学犹如微积分之于数学”。最小二乘法是参数回归 的最基本得方法所以研究最小二乘法原理及其应用对于统计的学习有很重要的意 义。 2. 最小二乘法 b,b 所谓最小二乘法就是 : 选择参数 , 使得全部观测的残差平方和最小 . 01 用数学公式表示为 : ,222mine,(Y,Y),(Y,b,bx) ,,,iiiii01 为了说明这个方法，先解释一下最小二乘原理，以一元线性回归方程为例 . Y,B ，Bx，, ( 一元线性回归方程 ) i01ii 1 由于总体回归方程不能进行参数估计，我们只能对样本回归函数来估计即 : Y,b ，bx，e(i,1,2...n)i01ii 从上面的公式可以看出 : 残差是的真实值与估计值之差，估计总体 eYii 回归函数最优方法是，选择的估计量，使得残差尽可能的小 . B,Bb,be0101i 总之，最小二乘原理就是选择样本回归函数使得所有 Y 的估计值与真实值差的 平方和为最小，这种确定的方法叫做最小二乘法。 b,b01 最小二乘法是回归分析中的最基本的方法。回归方程一般分为 2 类，线性回归 方程和非线性回归方程。 2.1 线性回归最小二乘法 最小二乘法是由实验或调查的数据，建立线性型公式的一种常用方法 . 在建立 线性型公式中，虽然有很多种不同的方法来求样本回归函数 ( 即真实总体回归函数 的估计值 ) ，但是在回归分析中最广泛应用的方法是最小二乘法 . ,