用户行为数据分析.ppt

基于海量用户行为数据分析的 互联网增值新业务 What , Why and How What ? – 要作什么事 对每个宽带用户的每次浏览网页行为进行记录，在海量的数据记录上分析用户的浏览习惯、兴趣爱好、关注焦点等，对用户进行全方位的“画像”。 按用户属性和行为特征对全部宽带用户进行聚类和精细化的客户群划分。 依托运营商平台，利用网络广告、直投、个性化内容推送等手段对宽带用户进行“一对一”的精准营销。 What 图解 用户上网的历史行为 用户属性和行为特征 男性 年龄25-35岁 来自北京.海淀.上地 IT从业人士 热衷科技产品 Nokia N95用户 中高端消费等级 喜欢户外运动和旅游 追求奢侈品 . . . … What 图解 – 续 … … … 客户群A 客户群B 客户群C 客户群D 客户群E 客户群F … 用户标识和特征 … 用户精细划分 精准营销 Why ? - 为网通带来新价值 精准广告收入 合作模式：与网络广告商、传统广告商、SP、广告联盟分成 ? 精准的用户属性将大幅度提高广告的价值，让每一次Page View都变成金子 自营模式：个性化内容推送 [例子: “一对一”的个性化号百和12580 ] ? 想用户所想，急用户所急 直销（DM）分成收入：与最终厂商合作 提升ARPU值，快速拓展新用户 采用精准的营销策略带动用户升速 ?分析升速用户的行为习惯：什么样的用户需要升速？什么样的SP会吸引升速用户？ 通过DM捆绑销售和优惠的接入价格快速拓展新用户 ? 在新竞争格局中领先一步，形成良性的循环：更低的接入价格带来更多的用户，获得更多的增值业务收入 How ? – HyperCloud解决方案 技术架构 核心处理算法 演示 ROI分析 低成本和可靠的海量存储子系统 平滑可扩展的分布式运算子系统 高吞吐率的运营服务子系统 低成本和可靠的海量存储子系统 多级别存储，成本降到300$/TB 无需RAID支持，保证99.9%可用性 多元数据服务器，管理亿级数量文件 可在线扩展至PB级规模 条带化存储，多数据通路聚合 支持对象存储(OSD)接口 I/O缓存 平滑可扩展的分布式运算子系统 3M架构：借鉴Google的分布式计算架构，针对海量数据挖掘的需求对单点性能和多点负载均衡作最大限度的优化 Key-Value Query with Memory Cache 突破Key-Value Query的瓶颈，单点上亿条规模Key-Value对的查询时间小于200ms (传统DB的1/20)， Dell 1950 Dual Quad-Core, 3.0Ghz Range Query with Memory Database 列存储(Column-based）结构，突破Range Query的瓶颈，单点上亿条记录的Range Query ( select x from t where a y and y b ) 小于1000ms, 为传统DB的1/10， Dell 1950 Dual Quad-Core, 3.0Ghz Distributed Computing with Map-reduce 分布式计算架构，处理100G的文本时间小于10min ( 10 * Dell 1950 Dual Quad-Core, 3.0Ghz ) 高吞吐率的运营服务子系统 Memcache Cluster MySQL Cluster ( ndb) ADWords /User Search Engine Niginx Squid Squid LVS (soft F5) DNS, Billing… 核心处理算法 (1)－ 基础 发现用户真正的点击行为 改进的贝叶斯算法过滤超过95％的垃圾或广告流量 语义分析技术 单字和词库结合的中文智能分词技术 大规模统计分析基础上的机器学习 从亿万网页中发现词的相关性 从单个页面中发现最重要的词 面向数据挖掘优化的海量计算 将传统的Data Mining算法移植到分布式平台上，实现PB级数据上 快速聚类和分类 快速关联分析 核心处理算法(2)-如何对用户行为分析建模 基本思想 发掘用户的显性特征 ( 关注关键词或相关词） 推理用户的隐性特征 （用户的自然属性和社会属性， 性别、职业、年龄、阶层、爱好…） 显性特征- 隐性特征是大样本基础上的机器学习 Machine Learning，ML ），例子 “劲舞团” = 游戏 - 舞蹈类 | 青少年 85% “兰寇” = 化妆品 - 兰寇 | 女 70%?? 高端 = 65% “铁血” = 爱国 | 男 90% “美女” = 闲逛 | 男 90% “爱卡论坛” /“宝马” = 汽车 - 宝马 | 高端消费人群 70% 中端消费人群 60%