“1+X”(中级)02-大数据分析平台.pptx

大数据分析平台

【-)阿里云

课程目标

学习完本课程后，你将能够：

1.了解常见的大数据分析平台体系

2.了解阿里云大数据产品体系

3.了解阿里云大数据计算服务MaxCompute,掌握其基本操作

4.了解阿里云数据工场DataWorks,掌握其基本操作

5.了解什么是阿里云可视化产品QuickBI和DataV,并掌握其基本操作

6.了解阿里云机器学习产品PAI,掌握其简单操作

【-〕阿里云

课程目录

1.常用大数据分析平台

2.阿里云大数据平台介绍

3.大数据计算服务MaxCompute

4.一站式大数据平台DataWorks

5.BI平台QuickBI介绍与基本操作

6.数据大屏DataV

7.机器学习平台PAI

2【-〕阿里云

课程目录

1.常用大数据分析平台

2.阿里云大数据平台介绍

3.大数据计算服务MaxCompute

4.一站式大数据平台DataWorks

5.BI平台QuickBI介绍与基本操作

6.数据大屏DataV

7.机器学习平台PAI

3【-〕阿里云

什么是大数据分析平台

大数据分析平台就是依据企业的数据需求，整合当前主流的、成熟的各种具有不同侧重点的大数据处理

分析框架和工具，实现对海量数据的挖掘和分析，满足企业的数据需求。通常意义上讲，大数据分析平台包括如下功能模块：

■数据源：数据源决定着数据采集，常见的数据源可分为结构化、非结构化、半结构化数据，依据采集方式又可分批数据采集、实时以及流式数据采集等；

■数据采集：即将数据导入到大数据分析平台；

■数据存储：采集后的数据，经过系统的清洗，转换、分类等操作，将数据储存在系统中，为了便于数据分析时的提取及应用；

■数据处理和分析：即对存储在系统中的数据分析、处理，数据处理与分析的快慢，是检验数据分析系

统功能的重要指标，数据分析系统得出数据分析的最终结果，用于业务应用。

■数据展示：数据可视化，分析的结果以视觉的角度展现在用户面前，达到最终的目的。

4【-〕阿里云

基于Hadoop的大数据分析平台

大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系

列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，其涉及的技术主要有分布式计算、高并发处理、高可用处理、集群管理、实时计算等。

>Hadoop作为一个开发和运行处理大规模数据的软件平台，实现了在大量的廉价计算机组成的集群

中对海量数据进行分布式计算；

>Hadoop框架中最核心的设计是HDFS和MapReduce;

>HDFS是一个高度容错性的系统，MapReduce是一套可以从海量的数据中提取数据最后返回结果集

的编程模型；

>Hadoop家族还包含各种开源组件，比如Yarn,Zookeeper,Hbase,Hive,Sqoop,Impala,

Spark等；

5【-〕阿里云

数据挖掘分析：Hive(HQL)、Pig、Impala、Spark等

数据存储：列存储HBASE、NoSQL存储Redis、大数据存储引擎KuDu

数据采集与预处理：日志数据、数据库数据采集处理常见工具有Flume,Logstash,实时数据、流式数据常采用Strom,Sparkstreaming、Flink等

Hadoop大数据分析平台系统架构

数据应用：Tableau、Qlikview、PowrerBI等

6