大数据分析与应用（中级）大数据分析概述课件.pptx

大数据分析概述;课程目录;什么是大数据;为什么会有大数据;为什么会有大数据;为什么会有大数据;大数据的发展历程;课程目录;大数据的特征;大数据的特征 – 体量巨大;大数据的特征 – 种类繁多;大数据的特征 – 价值密度低;大数据的特征 – 处理速度快;课程目录;大数据的分类;课程目录;大数据应用领域;大数据应用场景举例-商业;痛点;大数据应用场景举例-医疗;大数据应用场景举例-城市治理;大数据挑战;大数据挑战-数据资产管理;课程目录;大数据的意义 – 商业的变革;大数据的意义 – 管理的变革;;???数据的发展趋势-我国大数据产业规模稳步增长;大数据的发展趋势-政策热度持续攀升;大数据的发展趋势-融合提速，不均衡现象突出;大数据的发展趋势-创新与升级;课程目录;大数据分析的定义;大数据分析的能力体系;课程目录;大数据分析的产生与发展——如何减少空军被击落概率;大数据分析的产生与发展——关系数据库;大数据分析的产生与发展——商业智能的出现;大数据分析的产生与发展——商业营销理论的发展;大数据分析的产生与发展——互联网的崛起;大数据分析的产生与发展——数据大爆炸开启;大数据分析的产生与发展——大数据产生根源;大数据分析的产生与发展——技术基础;大数据分析的产生与发展——数据基础;大数据分析的产生与发展——技术发展阶段;大数据分析的产生与发展——大数据分析开源框架;课程目录;大数据分析的应用场景;大数据分析的应用场景;大数据分析的应用场景;大数据分析的应用场景;大数据分析的应用场景;在线搜索。每次用户在Google上执行搜索时，该程序都会监视用户对结果的响应方式。如果点击结果并保留在该网页上，可以假设用户获得了要查找的信息。如果用户点击第二页的结果，或者在不点击任何结果的情况下输入新的搜索字符串，可以推测搜索引擎没有提供您想要的结果 - 程序可以从这个错误中学习，在未来提供更好的结果。;课程目录;概率和分布;概率和分布;课程目录;抽样与估计;参数估计;点估计;点估计的评价标准;区间估计;课程目录;假设检验;假设检验;课程目录;回归;线性回归;模型的一般形式;?;一元线性回归模型;参数估计：最小二乘估计;方差分析;组内偏差与组间偏差;单因素方差分析的步骤;课程目录;主成分分析;主成分分析;主成分分析的步骤;?;?;因子分析的步骤;课程目录;大数据分析流程;数据采集技术——大数据采集的方法;数据采集技术——离线数据采集ETL;数据采集技术——ETL工具;数据采集技术——实时数据采集与处理;课程目录;数据预处理技术——数据集成;数据预处理技术——数据清洗;数据预处理技术——数据变换;数据预处理技术——数据规约;课程目录;数据存储与管理技术;数据存储与管理技术——分布式文件系统HDFS;数据存储与管理技术——分布式列存数据库HBase;数据存储与管理技术——内存数据库Redis;数据存储与管理技术——消息分发和存储Kafka;数据存储与管理技术——非结构化数据存储OSS;课程目录;数据分析处理技术;数据分析处理技术——离线批处理;数据分析处理技术——分布式离线计算框架MapReduce;数据分析处理技术——通用计算框架Spark;数据分析处理技术——实时流处理;数据分析处理技术——实时流处理框架平台;课程目录;大数据分析方法;统计分析;数据挖掘技术;机器学习;数据挖掘常用算法;课程目录;数据可视化技术;数据可视化技术——常见方法;数据可视化技术——常见可视化图表;数据可视化技术——图表类型的使用场景;数据可视化技术——大屏;课程目录;本章小结;课程目录;本章习题