决策树模型 ----QUEST.ppt

决策树模型 ----QUEST 报告人：李福娟 指导教师：谢邦昌 时间：2007年11月20日 Clementine的决策树模型 决策树(Decision Tree)模型，也称规则推理模型 通过对训练样本的学习，建立分类规则 依据分类规则，实现对新样本的分类 属于有指导(监督)式的学习方法，有两类变量： 目标变量(输出变量) 属性变量(输入变量) 决策树模型与一般统计分类模型的主要区别 决策树的分类是基于逻辑的，一般统计分类模型是基于非逻辑的 基于逻辑是指通过对属性变量值的布尔比较来实现分类判断 Clementine的决策树模型 决策树模型的特点优势： 推理过程容易理解，决策推理过程可以表示成IF、THEN的形式 推理过程完全依据属性变量的取值特点 可自动忽略对目标变量没有贡献的属性变量，也为判断属性变量的重要性，减少变量数目提供参考 Clementine的决策树模型 决策树模型的主要算法： C&RT C5.0 CHAID QUEST QUEST算法 QUEST：Quick Unbiased Efficient Statistical Tree 它是 Loh和Shih1997年提出的建立决策树的一种二元分类方法。 QUEST算法也主要涉及分支变量和分割值的确定问题，但它将分支变量选择和分割点选择以不同的策略进行处理 它的运算过程比C＆R更简单有效。 要求 属性变量（输入变量）分类型变量、数值型变量 目标变量（输出变量）必须是二值分类型变量(如果是多值的转化成二值的),建立二叉树 模型中涉及到的顺序变量必须存储为数值型 该模型中不可以应用权数变量 确定分支变量 分别检验各属性变量对目标变量的独立性。 如果属性变量为定类的，则采用卡方检验 如果属性变量为定距，则采用F检验 选择P-值最小且小于显著性水平?的属性变量作为当前的最佳分支变量 确定分支变量 如果最小的P-值尚未小于显著性水平?： 在F检验检验中，意味着在?水平下目标变量不同分类下属性变量的均值不存在显著。此时，应利用Levene’F检验其方差。选择方差齐性最不显著的变量可作为当前的分支变量 否则，该树节点无法再分支 确定分割值 确定分割值 当前分支变量是定类的 先将定类分支变量转化为定矩变量? 将该分支变量转换为哑变量组,依据目标变量,建立若干个判别函数,并取第一个典型判别函数(特征根最大) 计算各样本在第一个判别函数坐标上的值,作为?值 再依据前述定距分支变量的方法处理 Clementine11.0中的应用 市场研究案例 一个有限电视公司做了一项市场调查以了解哪些用户会订阅某种交互式的新闻服务。 选择的变量有：年龄(age)、性别(gender)、受教育程度(educate)、收入水平(inc)、每天看电视时间(tvday)、家庭拥有孩子个数(childs)。（NewsChan.sav ） Clementine11.0中的应用 Clementine11.0中的应用 可以通过连接并执行 输出节点Table查看 数据源数据 Clementine11.0中的应用 设置变量类型 Clementine11.0中的应用 建立QUEST决策树模型（Modeling-QUEST) 建立一个QUEST结点与源数据相连，然后右击对QUEST结点进行编辑 Clementine11.0中的应用 QUEST节点的Model选项 分割数据集 训练样本 检验样本 模式 Generate model直接给出最终 模型；Launch Interactive session可以逐层建立，修改 和删除节点。Use tree directives 指定任意层节点的分割方式 或子节点数 最大树深 自定义判 别树的最大层数 Clementine11.0中的应用 QUEST节点的高级（expert）选项框 最大替代数：当某记录 有缺失值时，QUEST会根 据与其相似的记录所归入 节点的取值进行替代 分裂的显著性水平：设 定分裂标准， 越小，则树 的分叉越少 终止条件 修剪树：use standard error rule删除分类不纯的 节点 先验概率 Clementine11.0中的应用 分类回归树节点终止选项 终止法则决定何时终止 分割树的具体分支设置最 小分支数目以避免分割出 过小的子群 使用百