大数据分析与应用（初级）数据分析课件.pptx

数据分析;学习完本课程后，你将能够： 1. 了解指标的定义、价值和评价标准 2. 掌握指标体系的构建方法 3. 掌握阿里云大数据产品MaxCompute、DataWorks的基本应用;课程目录;什么是指标、数据指标;数据分析与数据指标;指标的组成;数据指标的分类;定性和定量;虚荣和北极星;先见性和后见性;相关和因果;数据指标的其他分类方式;常用的数据指标;常用的数据指标;常用的数据指标;数据指标的价值;课程目录;优秀的数据指标的特征;优秀的数据指标的特征;课程目录;数据分析指标的实现;数据分析指标的设计维度示例;数据分析指标案例;数据指标的分析方法;数据指标的分析方法;数据分析指标的系统实现;数据分析指标的系统实现;数据指标分析案例;基于数据库实现数据指标分析案例;基于数据仓库实现数据指标分析案例;课程目录;大数据分析平台/数据仓库;基于阿里云搭建数据分析平台/数据仓库;大数据计算服务-MaxCompute ;MaxCompute 的主要功能及作用;MaxCompute所有的操作都是基于表，因此MaxCompute的使用从安装配置环境后建表开始;MaxCompute常见使用方式;MaxCompute的客户端配置;MaxCompute的客户端应用;应用客户端统计分析数据;Java+eclipse的应用;基于Java+eclipse 进行MR/Graph的开发;使用MaxCompute Studio;使用MaxCompute Studio;数据上传/下载综述;Tunnel命令;MaxCompute SQL;MaxCompute SQL的运算符;MaxCompute SQL的DDL语句;MaxCompute SQL的DML语句;MaxCompute SQL的函数;自定义函数; 实现 UDF 需要继承 com.aliyun.odps.udf.UDF 类，并实现 evaluate 方法 evaluate 方法必须是非 static 的 public 方法 evaluate 方法的参数和返回值类型将作为 SQL 中 UDF 的函数签名 用户可以在 UDF 中实现多个 evaluate 方法 调用 UDF 时框架会依据 UDF 调用的参数类型匹配正确的 evaluate 方法;UDTF 实现逻辑 ;;;MaxCompute基本操作小结;课程目录;DataWorks（数据工场，原大数据开发套件）是阿里云数加重要的PaaS平台产品，它提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索。 DataWorks支持多种计算和存储引擎服务，包括离线计算MaxCompute、开源大数据引擎E-MapReduce、实时计算（基于Flink）、机器学习PAI、图计算服务Graph Compute和交互式分析服务等，并且支持用户自定义接入计算和存储服务。;DataWorks 的主要功能及作用;;;;导入数据;节点开发;调度配置;DataWorks中的参数设置;数据管理;运维中心仅对开发、运维、项目管理员角色的人员开放： 开发：进行单个工作流/节点测试、补数据、暂停、重跑任务，查看任务运行日志等操作，还可配置监控报警 ； 运维：经常处理任务异常，运维任务包括：单个工作流/节点测试、补数据、暂停、重跑任务等操作。同时，还可进行批量修改工作流/节点属性、批量杀任务及批量重跑、配置监控报警等干预性操作。 项目管理员:在运维中心模块中拥有与运维人员同等的操作权限。;智能监控模块是DataWorks（数据工场）任务运行的监控及分析系统。根据监控规则和任务运行情况，智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间，报警方式以及报警对象。;本章小结;思考题