智能AI企业大数据中台建设方案（70页 PPT）.pptxVIP

智能AI企业大数据中台建设方案

联通型组件

多云化支持

拥抱开源

共建生态

共享资源

面向业务

定位纵向业务

深入理解场景快速打磨迭代

互联互通共享共建

如何建立大数据深中台

3

01从大数据平台到大数据中台

02业务驱动的大数据中台

03技术大数据中台建立参考模式与思考

CONTENTS

—

—

—

什么是大数据

大数据通常具有“4V”(Volume,Variety,Velocity,Value)特征—-大数据时代

大数据时代

生活、工作与思维的大变革

画]性支(he。尔-tr为g构i)货(只ka：电ca在ww雪)题

,新工人民出原热

影城eea

LjwtLcn

花大數据时代重》:《通连

AREVOLUTI0

WILLTRANSFOEMBOWLIVE.WORE.ARDTHINK

…

真奉料重考。度

TRATWE

·所见即所得。

·产品使用方便，人员易

上手

·支持各种定制化展示·支持简单的数据挖掘·业务部门容易使用

无招胜有招

多少金融模型来自于Excel

大数据平台的起源——Excel是小数据量最好分析工具

0访问数

访问数LineFitPlot

组合图制作

单要

2024年

2668亿元

3537亿元

销告额

2098亿元

3650亿元

三季度

四季度

一季度

32.20%

16.90%

16.40%

大数据平台的起源集美貌与智慧一身的“SQLServer”

免费第

三方统计工具：

例如，

XX方舟

数据处理调度SSIS

SQLServerEngine

Excel+SSRS+MSOLAP

源数据库

Nginx

·一个软件覆盖了这个阶段数据处理的所有功能

·支持各种数据源的集成

·支持ETL调度

·支持报表展示

·支持OLAP

●数据量在几亿条之内(每天50万，一年1.5亿),查询效率0K,如果扩展cluster,支持更好。

·小数据分析神器Excel,完美结合，扩展了数据挖掘，展现等功能

·缺点：数据量大以后，效率跟不上

大数据平台的起源——集美貌与智慧一身的“SQLServer”

大数据平台的起源——传统数据仓库+日志分析工具

日增500万，年度过5亿以内，2-4个人，暂时还没有人力搭建hadoop

数据处理调度

Informatica,

Datastage

Kettle(免)

脚本Python

ELK

XX本地

PaaS

DB2/Oracle/Greenplum(免)

QlikSense/Tablau/Cognos/BO

源数据库

Nginx

Hive

Hadoop

N个源数据库

Kafka/otherMQ

数据

处理调度

Inform

atica,Datast

age,

oozie

(免)

脚本

Pytho

n

PythonMLlib/R/SPSS/SAS

QlikSense/Tablau/Cognos/BO

大数据平台的建立——开源平台的引入与数据治理的加强

主数据管

理

元数

据管

理

Teradata/

Greenplum(免)

ELK(免)XX(免)

Nginx

Storm

·最皮实的组合

·鲁棒性

·硬件兼容性

·数据处理稳定性

·每个系统大数据存储，都绕不开

·缺点：慢!

大数据平台的建立——中流砥柱——ApacheKafka/ApacheHadoop/ApacheHive

·MPP架构，查询速度很快!

·大数据量SQL查询，除了Teradata,商业化使用最多·稳定性强

·GPDB目前使用最多，HAWQ支持HDFS是未来

·缺点：吃硬件，万兆、多SAS盘、服务器很贵…

大数据平台的建立——贵族的开源——GreenplumApacheHAWQ

主数

据管

理

元数

据管

理

数据

处理

调度

ApacheDolphinSchedule

r

脚本

Python

N个源数据库

Kafka/otherMQ

Nginx

Python/R

自主研发展示工具(E-chart/D3等)

Kylin(免)/Druid(免)/Presto(免)

Greenplum(免)