线性回归分析和方差分析.ppt

第九章线性回归分析与方差分析 第一节一元线性回归分析 第二节可线性化的非线性回归 第三节多元线性回归简介 第四节方差分析 经济数学—概率论和数理统计 第一节一元线性回归分析 在许多实际问题中,我们常常需要研究多 个变量之间的相互关系。 般来说,变量之间的关系可分为两类 类是确定性关系,确定性关系是指变量之间的关 系可以用函数关系来表达,例如电流I压Ⅴ电 阻R之间有关系式V=IR 另一类是非确定性关系,有些变量之间的关系是非 确定性的关系,这种关系无法用一个精确的函数 式来表示。 经济数学—概率论和数理统计 例如,农作物的单位面积产量与施肥量之间有 密切的关系,但是不能由施肥量精确知道单位面积 产量,这是因为单位面积产量还受到许多其他因素 及一些无法控制的随机因素的影响。 又如,人的身高与体重之间存在一种关系,一般来 说,人身高越高,体重越大, 但同样高度的人,体重却往往不同。这种变量之间 的不确定性关系称之为相关关系 对于具有相关关系的变量,虽然不能找到他们之间 的确定表达式,但是通过大量的观测数据,可以发 现他们之间存在一定的统计规律 数理统计中研究变量之间相关关系的一种有效方法 就是回归分析 经济数学—概率论和数理统计 元线性回归模型 假定我们要考虑自变量x与因变量Y之间的相关关系 假设r为可以控制或可以精确观察的变量,即x为普 通的变量。由于自变量x给定后,因变量Y并不能确 定,从而Y是一个与x有关的随机变量 我们对于可控制变量x取定一组不完全相同的值 x,…,x,作n次独立试验,得到n对观测结果: x1, y 其中y;是x=x时随机变量Y的观测结果将n对观测结 果(x;,y;)(i=1,,n)在直角坐标系中进行描点 这种描点图称为散点图散点图可以帮助我们精略 地看出Y与x之间的某种关系 经济数学—概率论和数理统计 例1对某广告公司为了研究某一类产品的广告费x用 与其销售额Y之间的关系,对多个厂家进行调查, 获得如下数据 家1 2 5 广告费6102140626290100120 销售额3158124220299190320406380 广告费与销售额之间不可能存在一个明确的 函数关系,事实上,即使不同的厂家投入了相同 的广告费,其销售额也不会是完全相同的。影响 销售额的因素是多种多样的,除了广告投入的影 响,还与厂家产品的特色、定价、销售渠道、售 后服务以及其他一些偶然因素有关 经济数学—概率论和数理统计 画出散点图如图9-1所示从图中可以看出,随 着广告投入费x的增加,销售额γ基本上也呈上升 趋势,图中的点大致分布在一条向右上方延伸的 直线附近但各点不完全在一条直线上,这是由于Y 还受到其他一些随机因素的影响 这样,Y可以看成是由两部分叠加而成,一部 分是x的线性函数a+bx,另一部分是随机因素引起的 误差E,即Y=a+b+g 500 这就是所谓的 元线性回归模型 9-1 经济数学—概率论和数理统计 般地,假设x与Y之间的相关关系可表示为 Y=a+bx+8(1) 其中:a,b为未知常数 E为随机误差且E~N(O,2)02未知, x与Y的这种关系称为一元线性回归模型 y=a+bx称为回归直线b称为回归系数 此时Y~N(a+bx,a2) 对于(x,Y)的样本(x1,y1),…,(xn,yn)有 y1=a+bx1+E;i=1,…,n N(0,a2) E相互独立 经济数学—概率论和数理统计 如果由样本得到式(1)中,a,b的估计值a,b, 则称y=a+bx为拟合直线或经验回归直线,它 可作为回归直线的估计 元线性回归主要解决下列一些问题: (1)利用样本对未知参数a、b、σ进行估计; (2)对回归模型作显著性检验; (3)当x=x时对Y的取值作预测,即对Y作区间 估计 经济数学—概率论和数理统计 二、参数a、b、σ2的估计 现在我们用最小二乘法来估计模型(1)中的 未知参数a,b 记Q=Qab)=∑2=∑(y-a-bx) 称Q(a,b)为偏差平方和 最小二乘法就是选择a,b的估计a,b使得 Q(a,b)为最小(图92) 经济数学—概率论和数理统计