第二章数据仓库原理4教学材料.ppt

第二章 数据仓库原理;2.1 数据仓库结构体系;*;*;*;*;*;*;*;数据综合;1.数据集市的产生 数据仓库是企业级的，工作范围和成本常常是巨大的。 数据集市是部门级的，伴随功能性计算机管理信息系统而存在。数据集市windows普通服务器 目前，全世界对数据仓库总投资的一半以上均集中在数据集市上。;数据集市（Data Marts）是一种更小、更集中的数据仓库，为公司提供分析商业数据的一条廉价途径。 Data Marts是指具有特定应用的数据仓库，主要针对某个应用或者具体部门级的应用，支持用户获得竞争优势或??找到进入新市场的具体解决方案。;3.数据集市与数据仓库差别; 1、规模是小的 2、特定的应用 3、面向部门 4、由业务部门定义，设计和开发 5、由业务部门管理和维护 6、快速实现 7、购买较便宜 8、投资快速回收 9、更详细的、预先存在的数据仓库的摘要子集 10、可升级到完整的数据仓库;独立数据集市(Independent Data Mart) 从属数据集市(Dependent Data Mart)为访问数据仓库非常频繁的关键业务部门建立;2.1.3 数据仓库系统结构;2.1.3 数据仓库系统结构;*;*;（2）数据抽取、转换、装载;（3）元数据;（4）系统管理;（1）查询工具 数据仓库的查询不是指对记录级数据的查询，而是指对分析要求的查询。 一般包含： 可视化工具：以图形化方式展示数据，可以帮助了解数据的结构，关系以及动态性。;（2）多维分析工具（OLAP工具）: 通过对信息的多种可能的观察形式进行快速、一致和交互性的存取，这样便利用户对数据进行深入的分析和观察。 多维数据的每一维代表对数据的一个特定的观察视角，如时间、地域、业务等。;（3）数据挖掘工具 从大量数据中挖掘具有规律性知识，需要利用数据挖掘（Data Mining）工具。 如：IBM的Intelligent Miner，SAS;*;*;*;*;维就是相同类数据的集合，是观察事物的视角。商店、时间和产品都是维。各个商店的集合是一维，时间的集合是一维，商品的集合是一维。每一个商店、每一段时间、每一种商品就是某一维的一个成员。 每一个销售事实由一个特定的商品、一个特定的时间、一个特定的地区的销售数量、金额组成。事实数据表包含描述业务内特定事件的数据，这些数字信息可以汇总。; 大多数的数据仓库都采用“星型模型”。星型模型是由“事实表”（大表）以及多个“维表”（小表）所组成。 “事实表”中存放大量关于企业的事实数据（数量数据）。包含大批数据的中心表。 例如：多个时期的数据可能会出现在同一个“事实表”中。“维表”中存放描述性数据，维表是围绕事实表建立的较小的表。; 大多数的数据仓库都采用“星型模型”。星型模型是由“事实表”（大表）以及多个“维表”（小表）所组成。 “事实表”中存放大量关于企业的事实数据（数量数据）。包含大批数据的但没有冗余的中心表。 例如：多个时期的数据可能会出现在同一个“事实表”中。“维表”中存放描述性数据，维表是围绕事实表建立的较小的表。 银行对存款记账，A表中存放实际数据，包括账号、所属机构号、存款金额等，B表存放机构号和机构名称的对应关系。则A是事实表，B是维表。;星型模型：一个中心表，一组维表，每维一个表，每个表包含一组属性。 星型模型数据如下图：;*;订货表 ;事实表、维表举例;事实表、维表举例;星型模型：主要有两方面的原因: 1、提高查询的效率。采用星形模式设计的数据仓库的优点是由于数据的组织已经过预处理，主要数据都在庞大的事实表中,所以只要扫描事实表就可以进行查询，而不必把多个庞大的表联接起来，查询访问效率较高。同时由于维表一般都很小,甚至可以放在高速缓存中,与事实表作连接时其速度较快; 2、便于用户理解。对非计算机专业的用户而言，星形模式比较直观，通过分析星形模式，很容易组合出各种查询。;*;*;雪花模式;2.2.3星网模型;地区键 …… ;2.2.4第三范式;;2.3 后台架构---ETL;2.3 后台架构---ETL;2.3 后台架构---ETL;2.3 后台架构---ETL;2．3．1 数据抽取;1.确认数据源;2.数据抽取技术;2．3．2 数据转换;1.数据转换的基本功能;2.数据转换类型;3.数据整合和合并;4.如何实施转换;2．3．3 数据装载;1.数据装载方式;2.数据装载类型;2.3.4 ETL工具;2．4 元数据;2．4．1 元数据的重要性;2．4．1 元数据的重要性;2．4．1 元数据的重要性;2．4．1 元数据的重要性;*;*;元数据示例;元数据示例;*;*;2