大云大数据平台及的应用.ppt

中国移动通信 移动改变生活 “大云”大数据平台及应用 中国移动通信研究院郭磊涛 2013年11月 Tull  电信运营商具有更多的数据 移动互联网专业SNS博客消息 服务商 电商 图片 视频优惠券 新闻点评 地图问答SNs音乐 签到、微博 电信运营商 2G、3G、4G、W|F 革站側P 除了像移动互联网服务商那样关注“结果”,电信运营商还需要关注“过程”  典型的应用场景之一:大数据批处理系统 目标:针对海量结构化、非结构化数据的ETL操作。从各种数据源获取数据,并进 行清洗、转换、去重、缺值补充等操作。通常釆用 MapReduce等并行计算技术。 技术要求举例 针对海星数据实时离线批处理运 算(ETL),通常时间要求较为 日会数 月会收 宽松,如几个小时级别 日汇总 月江总 √数据运算种类多,灵活性强 Mapado √数据通常需要导出到数据库、数 √需要灵活的调度的系统,便于系 要和其他业务系统混合部署 例图:分时段汇总的业务场景  典型的应用场景之二:大数据查询系统 目标:针对海量结构化、半结构化数据的精确定位、区段扫描等条件查询操作,用 于网络优化、帐详单查询、故障定位、搜索引擎等业务场景 技术要求举例 计1 计算2 人器 √针对海量数据实施交互式查询 返回时间在1秒钟左右。 √针对海量大数据规模实施查询 数据规模可以达到100TB-10PB 大数库 ˇ数据插入通常采用批处理方式 果数较少 ˇ系统具备较高的并发性,支持大 吾厅系 用户同时查询,依然可以在给 时间出口返回结果 业厅亍 ˇ数据具有很高的可靠性和可用性 例囹:帐详单查询系统 要求  典型的应用场景之三:大数据挖掘系统 目标:针对海量结构化、非结构化数据的行深度挖掘。通常需要根据业务需求设 计模型、训练集并选择算法(分类、聚类、关联、非结构化)。通常会使用各种分 布式数据挖掘工具和算法 DHDoBaBD 技术要求举例 ˇ针对海星数据实施全星数据挖掘 规模达到10TB-PB规模。 √处理时间没有严格要求,通常达 √需要支持各种并行计算模式,如 MapReduce、BSP等 ˇ数据挖掘系统需要较好的用户界 「人群1 面,用户通常具备业务知识,但 是未必具备开发经验 √系统可以和其他系统混合部署 其它人群 √数据具有一定的可靠性和可用性 要求