七、大数据应用技术及创新.pptx

大数据技术应用与创新一、金融集团大数据分析平台总体架构议程1大数据分析平台综述2大数据分析平台总体架构3大数据分析平台演进路线4大数据分析平台一期实施重点5附录：数据质量管理平台金融集团管理分析类应用建设现状基本分析基本的现状存在的问题关注的内容商城已建立面向整个零售业务的数据仓库，整合了前台业务运营数据和后台管理数据，建立了面向零售的管理分析应用；金融集团已开展供应链金融、人人贷和保理等多种业务，积累了一定量的业务数据，同时业务人员也从客户管理、风险评级和经营规模预测等方面，提出了大量分析预测需求；……商城数据仓库累积数据没有充分利用缺乏面向整个金融集团的统一、完整的数据视图；缺乏支撑金融集团日常业务运转的风险评估体系；缺乏金融集团客户360度视图，客户行为分析和预测无法实现；缺乏面向金融业务运营管理的关键绩效指标体系；……数据平台整体架构； 数据平台各层建设的标准； 较成熟的金融业数据模型； 数据质量治理； 元数据管理； 数据标准建设 数据整合； 数据应用建设； 数据平台的软硬环境……数据平台、数据应用、数据管控……基础数据平台和BI应用建设是未来一段时间的重点！统一定义BI 应用统一规划分析方法统一划分分析主题统一设计数据模式统一部署技术基础大数据分析平台建设目标通过数据平台和BI应用建设，金融集团将搭建统一的大数据共享和分析平台，对各类业务进行前瞻性预测及分析，为集团各层次用户提供统一的决策分析支持，提升数据共享与流转能力多种格式报表BI 分析工具统一制定目标和分析模型自定义报表工具行＋列的简单定义方式关注集团主要经营指标云数据推送平台已实现了主要零售及金融业务系统数据清洗、整合，为未来金融集团数据平台提供了丰富的数据源。集团决策层查看职能部门的业务经营情况业务人员使用BI应用实现业务协作和创新集团职能管控层供应链金融系统外部非结构化数据POP系统其他业务系统采购管理系统各级业务操作层大数据分析平台建设预期收益1.实现数据共享通过数据平台实现数据集中，确保金融集团各级部门均可在保证数据隐私和安全的前提下使用数据，充分发挥数据作为企业重要资产的业务价值2.加强业务协作实现分散在供应链金融、人人贷、保理等各个业务系统中的数据在数据平台中的集中和整合，建立单一的产品、客户等数据的企业级视图，有效促进业务的集成和协作，并为企业级分析、交叉销售提供基础3.促进业务创新金融集团业务人员可以基于明细、可信的数据，进行多维分析和数据挖掘，为金融业务创新（客户服务创新、产品创新等）创造了有利条件4.提升建设效率通过数据平台对数据进行集中，为管理分析、挖掘预测类等系统提供一致的数据基础，改变现有系统数据来源多、数据处理复杂的现状，实现应用系统建设模式的转变，提升相关IT系统的建设和运行效率5.改善数据质量从中长期看，数据仓库对金融集团分散在各个业务系统中的数据整合、清洗，有助于企业整体数据质量的改善，提高的数据的实用性议程1大数据分析平台综述2大数据分析平台总体架构3大数据分析平台演进路线4大数据分析平台一期实施重点5附录：数据质量管理平台大数据分析平台总体架构用户访问层IT人员内部用户外部用户数据管控平台流程调度层实时数据查询历史数据查询内部管理分析业务沙盘演练数据增值产品流程调度平台数据标准应用集市数据区实时数据区历史归档数据区沙盘演练数据区增值产品数据区流程调度客户管理财务管理风险管理……数据质量大数据区主题数据区客户汇总账户汇总机构汇总… …处理后大数据待处理大数据监控告警社交媒体用户评价客户主题协议主题产品主题… …元数据移动互联访问日志贴源数据区 零售数据供应链数据…………大数据交换组件数据库数据交换组件数据区数据交换组件数据交换平台数据安全数据交换层数据产生层数据应用层数据计算层数据管控层企业内外部半结构化、非结构化数据人人贷系统供应链金融商城零售……系统基金系统大数据分析平台总体架构——数据产生层 源数据内容内部业务系统产生的结构化数据商城日常零售业务处理过程中产生的结构化数据，存储在关系型数据库中，如：供应商信息、采购信息、商品信息、销售流水……金融集团日常业务处理过程中产生的结构化数据，存储在关系型数据库中，如：客户信息、账户信息、金融产品信息、交易流水……企业内部非结构化数据日常业务处理过程中产生的非结构化数据，存储形式多样，主要包括用户访问日志、用户投诉、用户点评……企业外部数据企业外部数据以非结构化为主，主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息……源数据增量在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据商城和金融集团业务系统的数据增量数据识别、获取由云数据推送平台负责，云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据，则采