用于小规模数据仓库的 DB2 设计方案.doc

用于小规模数据仓库的 DB2 设计方案 26. 用于小规模数据仓库的 DB2 设计方案 郑捷 （高扬国际烟草有限公司 设备动力部） 摘要 围绕小规模数据仓库应用特点，从表空间设计、内存分配、并行处理、备份策略四个方面讨 论了DB2的设计原则、实现方法等。 关键字 DB2 数据仓库 表空间 缓冲池 并行处理 备份策略 前言 十五期间，高扬企业信息化在业务系统建设方面中取得了较大的进展，也积累了大量 的业务数据，开展数据分析利用活动，将这些数据转化为有用的知识成为了十一五信息化建 设的中心任务。 数据分析利用活动的开展离不开存放数据的数据仓库， DB2作为该领域的领先者，与 我们熟悉的 Oracle 相比，它在决策支持型应用方面具有较明显的优势。结合 HDS 历史数据 存储、ODS 操作数据存储、DDS 多维数据存储三个层次数据加载的不同需要，围绕着小规模 数据仓库的应用特征进行数据库设计，就能在现有硬件基础上充分将DB2的优势发挥出来。 一、 背景介绍 1.1软硬件环境 DB2 版本为8.2，运行于DELL POWEREDGE 2850 服务器上，服务器操作系统为Win2003 Enterprise、内存 6GB、双 Intel P4 Xeon CPU，336GB 存储空间 由 6 个 SCSI 硬盘组成的 RAID 5 分区 。 1.2需求估计 高扬开展数据分析利用活动采取了分步实施，稳步推进的策略，初期从各业务系统抽 取的放入 HDS 的数据约 12GB 左右，这些业务数据经过筛选、抽取、归纳、转换到 ODS，继 而进入DDS，三个层次的初始数据总量预计为28GB。与大型数据仓库的海量数据相比，我们 的数据规模较小。高扬 DDS 层最大并发用户数设计需求为满足 20 个客户端同时访问，应用 规模也较小。 出于规模与成本考虑，我们选择了在单台服务器上同时安装 DB2 数据库、ETL、 BusinessObject，OLAP 分析服务等多项软件产品，构建完整的数据仓库应用平台。这样在 初期设计阶段就必须合理的估计各产品所需的资源、同时掌握应用的特征。 数据库 容量 应用特征 DWCTRLDB 中 存放DB2 WareHouse Manager 对象，业务工作负载较轻，但默认配置太 ETL元资料库 低，随着时间的推移及加载日志的积累，容易造成客户端ETL管理器反 应迟钝。 BO元资料库 小 存放Business Object对象，业务工作负载很轻。 GYHDS 大 业务逻辑简单,与业务系统中的表一一对应，仅在 ETL 执行过程中被使 历史数据存储 用。 GYODS 大 包含复杂的业务逻辑, 仅ETL中调用，但调用时访问大量的数据, 消耗 操作数据存储 大量的资源 GYDDS 大 业务工作负载重，包含复杂的业务逻辑, ETL 过程中的资源消耗同 多维数据存储 GYODS。作为BO及OLAP的数据源，需确保有良好的系统响应时间。 表1：DB2实例中需建的数据库清单及应用特征 1.3设计目标 本方案主要侧重于物理环境设计，希望实现以下目标：DB2配置适合小规模数据仓库应 用，合理占用系统资源 内存空间分配 3GB 左右、充分利用双 CPU 进行并行处理、初始分配 的磁盘空间满足2年内数据增长的需要 ,ETL运行良好，确保系统响应时间长期保持在用户 可接受的范围之内。 二、 表空间设计 设计阶段首先考虑的是存储架构。表空间的位置、类型、大小、性能参数都应围绕着数 据仓库DSS类应用加以规划。 2.1表空间介绍 DB2 中数据实际存放在物理容器中，物理容器