从理论到应用——浅析lasso模型.doc

本科生学年论文 题目：从理论到应用——浅谈lasso模型 指导教师： 学院： 姓名： 学号： 班级： 从理论到应用——浅谈lasso模型 【摘要】 回归模型是我们在处理数据中常用的方法。其中，Lasso模型是一种适用于多重共线性问题，能够在参数估计的同时实现变量的选择的回归方法。本文从lasso模型的概念谈起，对其起源、思想、与岭回归的比较、通过lar的算法实现等方面进行了探究。另外还使用R语言对简单案例进行lasso模型的应用。最后简述了lasso模型的研究现状。 【abstract】 Regression model is our commonly used method in processing data. Lasso model is a kind of regression method for multiple linear problems, which can be used to achieve parameter estimationvariable selection at the same time. This paper starts from the concept of the lasso model, including its origin, ideas, and the comparison of ridge regression, through lar algorithm implementation, etc. In addition, using R language to solve a simple case through lasso. At last, the research status of lasso model is introduced. 【关键词】 Lasso 岭回归 最小角回归 R语言 【key words】 Lasso ridge regression lar R language 目录 一、 定义及基本信息 4 二、 起源与原理 4 三、 模型的思想 4 四、 Lasso与岭回归 5 1、 岭回归的概念 5 2、 Lasso与岭回归的比较 5 五、 Lasso的算法步骤 6 1、 lasso算法实现的背景 6 2、 最小角回归 7 3、 用lar实现lasso 7 六、 案例分析 8 1、 问题描述 8 2、 简单线性回归求解 9 3、 利用lasso求解 11 七、 应用与研究现状 12 八、 参考资料 13 定义及基本信息 Lasso模型是由Robert Tibshirani在1996年JRSSB上的一篇文章Regression shrinkage and selection via the lasso所提出的一种能够实现指标集合精简的估计方法。在参数估计的同时实现变量的选择（可以解决回归分析中的多重共线性问题）。 全称：Least Absolute Shrinkage and Selection Operator 读音[l?‵su:] 而不是[l?so] Robert Tibshirani 简介：生于1956年7月10日the Departments of Statistics and Health Research and Policy的教授。1985-1998年担任多伦多大学的教授分析统计 Generalized Additive Models, An Introduction to the Bootstrap, and The Elements of Statistical Learning三本书中都有他的编著。[1] 起源与原理 在常规的回归分析中，假设我们有一组（xi，yi），i=1,2,...,N,其中xi=(xi1,...,xip)T,yi是第i维观测值的回归量的数据。普通最小二乘(OLS)通过最小化残差平方和来进行估计。它对数据的分析不那么令人满意通常有两个原因。一是预测精度:OLS往往偏差较低但方差大;预测精度有时可以用缩小或设置一些系数为0的方法来提高。通过这样做,我们牺牲一点偏差减少预测的方差值，因此可以提高整体预测准确性。第二个原因是可解