CHAPTER6-挖掘关联规则.ppt

挖掘关联规则(实际例子)极大频繁项集闭频繁项集Problemwithmaximalfrequentitemsets:Supportoftheirsubsetsisnotknown–additionalDBscansareneededAnitemsetisclosedifnoneofitsimmediatesupersetshasthesamesupportastheitemset闭频繁项集和极大频繁项集闭频繁项集和极大频繁项集*********2^{100}–1becauseeveryk-itemset(pattern)fork=1,..,100isfrequentwithsupporteither1or2.*频繁模式挖掘的挑战挑战事务数据库的多遍扫描数量巨大的候选候选支持度计数繁重的工作量改进Apriori:基本思想减少事务数据库的扫描遍数压缩候选数量便于候选计数*频繁项集挖掘方法Apriori算法:通过限制候选产生发现频繁项集提高Apriori算法的效率挖掘频繁项集的模式增长方法是用垂直数据格式挖掘频繁项集*提高Apriori算法的方法Hash-baseditemsetcounting（散列项集计数）Transactionreduction（事务压缩）Partitioning（划分）Sampling（采样）*划分:只扫描数据库两次项集在DB中是频繁的,它必须至少在DB的一个划分中是频繁的扫描1:划分数据库,并找出局部频繁模式localfrequentitemset扫描2:求出全局频繁模式A.Savasere,E.Omiecinski,andS.Navathe.Anefficientalgorithmforminingassociationinlargedatabases.InVLDB’95DB1DB2DBk+=DB++sup1(i)σDB1sup2(i)σDB2supk(i)σDBksup(i)σDB*抽样-频繁模式选取原数据库的一个样本,使用Apriori算法在样本中挖掘频繁模式扫描一次数据库,验证在样本中发现的频繁模式.再次扫描数据库,找出遗漏的频繁模式牺牲一些精度换取有效性。H.Toivonen.Samplinglargedatabasesforassociationrules.InVLDB’96*DHP:压缩候选的数量散列项集到对应的桶中，一个其hash桶的计数小于阈值的k-itemset不可能是频繁的J.Park,M.Chen,andP.Yu.Aneffectivehash-basedalgorithmforminingassociationrules.InSIGMOD’95*DIC(Dynamicitemsetcounting):减少扫描次数ABCDABCABDACDBCDABACBCADBDCDABCD{}Itemsetlattice一旦确定A和D是频繁的,立即开始AD的计数一旦确定BCD的两个长度为2的子集是频繁的,立即开始BCD的计数事务1-itemsets2-itemsets…Apriori1-itemsets2-items3-itemsDICS.BrinR.Motwani,J.Ullman,andS.Tsur.Dynamicitemsetcountingandimplicationrulesformarketbasketdata.InSIGMOD’97*频繁项集挖掘方法Apriori算法:通过限制候选产生发现频繁项集提高Apriori算法的效率挖掘频繁项集的模式增长方法是用垂直数据格式挖掘频繁项集*MainStepsofAprioriAlgorithm:Usefrequent(k–1)-itemsets(Lk-1)togeneratecandidatesoffrequentk-itemsetsCkScandatabaseandcounteachpatterninCk,getfrequentk-itemsets(Lk).E.g.,TID Itemsbought 100 {f