大数据解决方案V.pptx

北京荣之联 大数据目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例大数据时代到来社交网络(Facebook, Twitter, 微博等)移动网络和各种智能终端宽带、移动网络普及和提速传感器、RFID阅读器、导航终端等非传统IT设备视频(医疗影像、地理信息、监控录像等)统计、分析、预测、实时处理IDC预测全球的数据使用量到2022年会增长44倍，达到35.2ZB (1ZB = 10亿TB)数据处理思维转变全量数据 乐于接受数据的纷繁复杂少量的样本数据数据关系力求明确清晰 数据的精确不是那么重要了转而关注事物的关联关系探求难以捉摸的因果关系要求数据精确无误大数据分析思维传统数据分析思维数据处理思维转变案例二案例一? 谷歌翻译系统为了训练其系统，收集其能找到的所有翻译；? 谷歌收集了上万亿页的语料库，包括质量参差不齐的文档；? 上万亿的语料库，相当于950亿句英语；? 相对而言，谷歌的翻译质量还是最好的；? 谷歌翻译之所以更好，不是因为它拥有一个更好的算法机制，而是增加了各种各样的数据，包括有错误的数据；? 在谷歌的翻译团队中，大多数工程师并不懂其翻译出来的语言；? 聘请了20多名书评家和编辑组成的团队，在网页上创立“亚马逊的声音”向客户推荐新书，写书评；? 通过客户的购买历史，寻找客户的相似性，对客户分群进行产品推荐，推荐的总是与以往购买的相似或略有区别；? 通过大量的数据分析，找出书籍之间的关联关系，即“item-to-item”,时亚马逊发生了天翻地覆的变化。? AMAZON销售额的三分之一来自于“item-to-item”的推荐系统。? AMAZON最终放弃了在线书评，书评团队被解散。数据处理思维转变数据处理思维转变关联关系，预测的关键。很多时候，知道“是什么”就够了，没必要知道“为什么”。一旦我们完成了“关联关系”分析，我们就可以继续向更深层次研究因果关系，找出背后的“为什么”其它案例? 沃尔玛：请把蛋挞和飓风用品摆在一起，请把啤酒和尿片摆在一起；? 某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；? 对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；? 某信用评分公司，利用Facebook的社交圈来预测个人偿还债务的可能性；? 对冲基金通过分析Twitter微博的数据文本，作为股市投资的信号；大数据与BI融合*大数据的商业价值大数据主要厂商　大型企业和机构在寻求解决棘手的大数据问题时，往往会使用开源软件基础架构Hadoop的服务。由于Hadoop深受欢迎，许多公司都推出了各自版本的Hadoop，也有一些公司则围绕Hadoop提供解决方案。 Hadoop的发行版除了社区的Apache hadoop外，cloudera，IBM，ORACLE等都提供了自己的商业版本。商业版主要是提供Hadoop专业的技术支持，这对一些大型企业尤其重要。OracleIBMCloudera。。。EMC大数据生态Big Data ApplicationsPig!数据挖掘程序库资料处理语言并行计算框架HIVESQLSQL资料汇入类SQL资料库系统(非即时性)分散式资料库(即时性)ZooKeeperRAW非结构化资料汇入分散式档案系统目录大数据综述荣之联企业大数据平台方案大数据平台建设方法汽车制造业应用大数据畅想案例9、 人的价值，在招收诱惑的一瞬间被决定。10、低头要有勇气，抬头要有低气。11、人总是珍惜为得到。12、人乱于心，不宽余请。13、生气是拿别人做错的事来惩罚自己。14、抱最大的希望，作最大的努力。15、一个人炫耀什么，说明他内心缺少什么。。16、业余生活要有意义，不要越轨。17、一个人即使已登上顶峰，也仍要自强不息。9、 人的价值，在招收诱惑的一瞬间被决定。10、低头要有勇气，抬头要有低气。11、人总是珍惜为得到。12、人乱于心，不宽余请。13、生气是拿别人做错的事来惩罚自己。14、抱最大的希望，作最大的努力。15、一个人炫耀什么，说明他内心缺少什么。。16、业余生活要有意义，不要越轨。17、一个人即使已登上顶峰，也仍要自强不息。企业大数据平台架构原则*技术-按需频度的数据获取批量和实时数据采用不同的技术手段和工具，遵循统一的文件接口标准技术-多样化数据共存跨同构/异构数据库（物理系统），基于文本、数据库的数据抽取和加载数据-数据即服务业务人员通过逻辑数据对象组件访问数据，而不用关心数据的物理存储方式。通过数据组织与前端应用功能，使业务人员可以较容易、较快地定位和了解数据的内容。数据-数据质量控制通过一系列的技术和业务手段实现数据集成平台数据质量控制，主要体现在数据正确性（技术）、完整性、一致性（业务）、有效性。大数据平台整体架构大数据处理流程结构化数据声誉度分