超市数据仓库.ppt

小型超市数据仓库系统SMDW简介 四川大学 智胜公司 数据库与知识工程研究所 唐常杰 小型超市数据仓库系统SMDW简介 提纲 1 SMDW数据仓库要点 2 SMDW组成 3 SMDW用户界面和主要功能 数据提取过滤集成, 主题的选择和汇总, 查询功能 ,数据挖掘分析, 系统管理 4 SMDW体系结构 5 特殊技术 6数据仓库维护 7 运行测试 8小结 u? SMDW--Small Super Market Data Warehouse, 经营资本 5000万元 以下 u?数据仓库概念创始人W.H.Inmon : ?“数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合?用以支持经营管理中的决策制订过程。” u?? 数据仓库技术强调了“处理过程”?而不是强调某一个软件或硬件产品。 u?数据仓库是对原始的操作数据从历史的角度组织和储存数据的处理过程?它把各个信息源中与决策支持有关的数据?经过提取(Extract)、转换(Transform)、过滤和装载(Load)集成?按主题存放起来?供决策人员查询和分析?从而作出科学性的和战略性的决策。开发重点和难点在ETL 比喻： 基本数据库（运行数据库）-----水泥，钢筋，砂 数据集市----预制件 （星型，雪花型）面向被被解决问题（主题）， 用预制件组装 比用 水泥，钢筋，砂临时浇铸 快，好 数据仓库、数据仓库管理系统(DWMS)和数据仓库工具。 核心:数据仓库DWMS, 由DBMS＋界面＋专用程序实现。 主题: 用DBMS中的一系列表实现。 关系数据库在模拟多维数据时将多维结构划分为两类表?事实表和维表。 星型模式和雪花模式并存兼容的方式。 三部分组成? 由于XBase系列在我国曾经大量使用并积累了大量的原始操作数据? 基于这一国情?SMDW V1.0版允许XBase系列为数据源? 在升级版本中用ODBC连接SQL Server?Oracle?Access等?以形成多数据源的数据仓库。 3.1数据提取过滤集成?从超市每日交易的详细数据中提取数据?将不一致的字段长度、不一致的赋值、丢失的数据输入等经过清理过滤?按照统一的编码、统一的格式整合集成?然后装入数据仓库。 3.2主题的选择和汇总?SMDW是面向主题?目前版本选取了超市最重要的两个主题?商品和顾客。 超市经理最关心问题： 某某顾客经常购买哪些商品? 哪些商品经常被顾客一起购买? 顾客主题 汇总每个顾客每日购买的商品的购买量和购买额(未购买商品则无相应数据)。每个顾客每周、每月购买商品的购买量和购买额。 商品主题 汇总每种商品的日销量、日销售额及日利润。每周、每月的销量、销售额和利润及这三个数据的日平均、最大和最小值。 商品主题： 每种商品的每日销量、销售额和利润?每种商品的每周销量、销售额和利润及这三个数据的日平均、最大、最小值?每种商品的每月销量、销售额和利润及这三个数据的日平均、最大、最小值? 结果可以表格和图形(直方图、圆饼图、折线图等)两种方式显示。 分析出什么商品最畅销?什么商品最赚钱?用以指导超市的经营策略。? 顾客主题? 可查询每个顾客每日的购买量和购买额?每周的购买量和购买额?每月的购买量和购买额 查询结果可以表格和图形(直方图、圆饼图、折线图等)两种方式显示。 查询结果可知顾客的购买力和购买行为?如某顾客经常买高档商品?则说明他的购买力强?某顾客常常买中低档商品?少有买高档商品?则说明他的购买力一般 ?超市从而可有针对性地培养顾客群。 l?可分析超市日销售额、日利润月趋势?周销售额、周利润年趋势?月销售额、月利润年趋势?并以表格和图形(直方图、折线图、圆饼图等)两种方式显示结果。 l?可作历史比较和趋势分析。 可作关联规则挖掘 ? “在购买面包和黄油的顾客中?有90％的人同时也买了牛奶”（面包＋黄油→牛奶）。关联规则挖掘在给定支持度阈值后， 使用Apriori算法 分析哪些商品顾客最有可能一起购买?从而预测顾客未来的购买行为?以便为顾客提供更好的服务以吸引顾客?扩大市场。 系统把用户分为超级用户和一般用户?并拥有不同的权限和口令。一般用户只能见到常规数据?无权查看敏感数据。 l?? 源数据?SMDW的数据来源于超市各分店每日交易数据?即多个关系数据库。 l??? 提取转换? l? 仓库管理? 元数据（数据结构、转换规划、仓库结构、控制信息）。仓库管理包括对数据的安全、归档、备份、维护、恢复等工作?这些工作需要利用数据库管理系统(DBMS)的功能。 l?? 查询分析工具?用于完成实际决策问题所需的查询检索工具、 L 数据挖掘分析工具等?以实现决策支持系统的各种要求。 扩展的雪花模式