谓词集的计数或支持度.PPT

有些约束不属于前面三类，但是如果项集中的项以特定的次序排列，则对于频繁项集挖掘的全过程，约束可能成为单调的或者是反单调的 例：avg(I.price)，既非单调，也非反单调，但是如果事务中的项以价格递增的序添加到项集中，该约束就变成了反单调的 不可转变的约束是数据挖掘中较难处理的部分，但这种约束往往较少。 另外，大部分使用SQL内部聚集的简单SQL表达式都属于前面四类约束 Apriori算法的主要开销： 可能要产生大量的候选项集 104个频繁1-项集会导致107个频繁2-项集 对长度为100的频繁模式，会产生2100个候选 重复扫描数据库，通过模式匹配检查一个很大的候选集合 不产生候选频繁项集的算法——FP-树频集算法 一种采用divide and conquer（分治策略）的方法 在经过第一遍扫描之后，把数据库中的频集压缩进一棵频繁模式树（FP-tree），同时依然保留其中的关联信息； 将FP-tree分化成一些条件库，每个库和一个长度为1的频集相关，然后再对这些条件库分别进行挖掘。 {}null f:4 c:1 b:1 p:1 b:1 c:3 a:3 b:1 m:2 p:2 m:1 项头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3 min_sup= 3 TID Items bought (ordered) frequent items 100 {f, a, c, d, g, i, m, p} {f, c, a, m, p} 200 {a, b, c, f, l, m, o} {f, c, a, b, m} 300 {b, f, h, j, o} {f, b} 400 {b, c, k, s, p} {c, b, p} 500 {a, f, c, e, l, p, m, n} {f, c, a, m, p} 步骤: 扫描一次数据库，导出频繁项的集合（1-项集） 将频繁项按降序排列 再次扫描数据库，构建FP树 创建树的根节点，用null标记； 将每个事务中的项按递减支持度计数排列，并对每个事务创建一个分枝； 比如为第一个事务{f, c, a, m, p}构建一个分枝 当为一个事务考虑增加分枝时，沿共同前缀上的每个节点的计数加1，为跟随前缀后的项创建节点并连接 比如将第二个事务{f, c, a, b, m}加到树上时，将为f，c，a各增计数1，然后为{b, m}创建分枝 创建一个项头表，以方便遍历，每个项通过一个节点链指向它在树中的出现。 完整性 不会打破任何事务数据中的长模式 为频繁模式的挖掘保留了完整的信息 紧凑性 减少了不相关的信息——非频繁的项被删除 按频率递减排列——使得更频繁的项更容易在树结构中被共享 数据量比原数据库要小 FP树的挖掘步骤： 由长度为1的频繁模式（初始后缀模式）开始，构造它的条件模式基（一个“子数据库”，由FP树中与后缀模式一起出现的前缀路径集组成。 构造该初始后缀模式的条件FP树，并递归的在该树上实现挖掘。模式增长通过后缀模式与条件FP树产生的频繁模式连接实现。 从项头表开始挖掘，由频率低的节点开始 沿循每个（频繁）项的链接来遍历FP树 通过积累该项的前缀路径来形成一个条件模式基 Conditional pattern bases item cond. pattern base c f:3 a fc:3 b fca:1, f:1, c:1 m fca:2, fcab:1 p fcam:2, cb:1 {}null f:4 c:1 b:1 p:1 b:1 c:3 a:3 b:1 m:2 p:2 m:1 项头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3 对每个条件模式基 为基中的每一项累积计数 为模式基中的频繁项构建FP树 m-条件模式基: fca:2, fcab:1 {} f:3 c:3 a:3 m-条件FP-树 所有关于m的频繁模式： m, fm, cm, am, fcm, fam, cam, fcam ? ? {}null f:4 c:1 b:1 p:1 b:1 c:3 a:3 b:1 m:2 p:2 m:1 项头表 Item frequency head f 4 c 4 a 3 b 3 m 3 p 3 数据项中经常会形成概念分层 底层的数据项，其支持度往往也较低 这意味着挖掘底层数据项之间的关联规则必须定义不同的支持度 All Computer accessory software laptop financial mouse color printer computer desktop IBM edu. Microsoft b/w HP S