大数据技术和应用.pptx

大数据时代;一.什么是大数据？;大数据的4V特性;大数据的收集方式;大数据的收集方式;大数据领域的技术; Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令，跨大量的计算节点运行非常巨大的数据集。 Hadoop得以在大数据处理应用中广泛应用得益于其自身在数据提取、变形和加载(ETL)方面上的天然优势。Hadoop的分布式架构，将大数据处理引擎尽可能的靠近存储，对例如像ETL这样的批处理操作相对合适，因为类似这样操作的批处理结果可以直接走向存储。Hadoop的MapReduce功能实现了将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。 ;它主要有以下几个优点： ⒈高可靠性。 Hadoop按位存储和处理数据的能力值得人们信赖。 ⒉高扩展性。 Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。 ⒊高效性。 Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。 ⒋高容错性。 Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。 ;Storm 什么是Storm？ 如果只用一句话来描述storm的话，可能会是这样：分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。 在淘宝，storm被广泛用来进行实时日志处理，出现在实时统计、实时风控、实时推荐等场景中。一般来说，我们从类kafka的metaQ或者基于hbase的timetunnel中读取实时日志消息，经过一系列处理，最终将处理结果写入到一个分布式存储中，提供给应用程序访问。我们每天的实时消息量从几百万到几十亿不等，数据总量达到TB级。对于我们来说，storm往往会配合分布式存储服务一起使用。在我们正在进行的个性化搜索实时分析项目中，就使用了timetunnel + hbase + storm + ups的架构，每天处理几十亿的用户日志信息，从用户行为发生到完成分析延迟在秒级。;其他大数据技术;大数据的应用;大数据的核心价值;大数据的核心价值;通过“众包”产生和收集数据 高德地图、百度地图都有实时路况的功能，但大家有没有想过实时路况的数据是怎么收集的？实际上经过了三个阶段，开始是跟交通口的一些公司合作，获取交通流量监测设备的数据，这个方法缺陷很明显，一个是受制于人，一个是想扩大监测范围就要部署大量设备，费时费力，而且还受法律制约。于是一些专门做路况的公司开始用出租车当浮动车收集数据。但这种办法还是无法覆盖大量的大小路段，随着移动互联网的普及，高德地图的APP能够实时上传大量机动车的速度和位置信息，经过去噪和综合分析，就形成了覆盖率极高的实时路况信息。这就是一个典型的“众包”过程。;通过“全量数据挖掘”获知“真相” 这些数据不是通过采样得来的，就是真真切切的“全量数据”。我们再也不用通过“管中窥豹”的形式来推测全局，而是直接通过“上帝视角”来窥视真相。这就是大数据的魅力，我们获得了前所未有的获取真相的能力，而且对于大型互联网公司来说，即使是PB级别的数据分析也是准实时的，我们下一个小时就能够得知上一个小时的全量数据分析结果，这样的能力是前所未有的。;大数据的核心价值——“资源优化配置” ; 前段时间，滴滴打车曾通过投票和订单分析的方式得出了北上广深四地的加班大楼排行榜。但事实真的是即使加班很晚也很难打到车啊啊！所以滴滴打车更名为“滴滴出行”之后，也抛出了他们伟大的愿景，那就是利用大数据分析实时综合调度“快车”、“专车”、“出租车”、“顺风车”甚至是滴滴巴士的资源，实现全局的交通资源优化。事实也是如此，滴滴的司机们越来越多的需要完成“指派任务”，而不是集中去抢高净值客户。也许对于个别单体来说他们的利益降低了，但全局的资源配置却避免了全局的资源浪费和过度竞争，无疑大大提高了交通资源的使用效率。所以我们说，基于大数据分析的结果，进行资源优化配置，才是大数据应用的落地点和真正价值。 ;谢谢观看！; MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念Map(映射)和Reduce(归约)，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系