大数据及其典型应用_培训课件.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 9 * * * * * * * * * * * 分析流程 1. 分析主题确定及数据指标的选择；2. 数据仓库数据提取及清洗；3. 不相关指标剔除；4. 用训练数据建立模型；5. 用测试数据检验模型；6. 预测新的流失用户，并提取用户名单； 7.制订挽留策略：对圈定的客户进一步进行分群，然后逐群制 订有针对的挽留策略。比如有的群组是属于夜间通话多（和 总体的均值相比）的客户，那么针对他们的挽留策略可能是 推荐一些夜间通话优惠的资费方案。 8.实施挽留行动、收集客户反馈。 9.评估挽留效果： 　　 * * 面向公共安全领域的大数据分析技术平台 数据挖掘 Data Miner 多维分析 BI Beans 查询 Discoverer 数据仓库管理(OEM) 数据提取 Warehouse Builder 应用服务器 Application Server/Portal DataBase 人口数据 外部 数据 犯罪 数据 报表 Reports Data Mining OLAP 数据转换 中央数据仓库 知识发现 信息展现 应用系统 源数据 数据获取 数据管理 数据使用 * * 刑侦的犯罪预防 搜集犯罪的信息 推断罪犯的习惯 预测罪案的发生 非法出入境判别 海关走私模式的分析 紧急事件的处理 人员的紧急疏散 资源的紧急调配 紧急状态的安全管理 紧急事件发生的预演 交通管理 公共安全领域基于大数据的智能分析 * * 信息的来源 银行交易 历史资料库 /知识库 公共信息 政府数据库 Internet 截获/监听情报 通信情报 人工情报 * * 问题的关键 大量的信息(有关/无关)是分析的基础，也是分析的障碍 事件的信息往往是随机获得 不确定的因素影响分析的结果 分析的速度是关键 * * 飞速膨胀的信息 多种学科的边缘结合 有限的记忆和注意范围 长时间持续的分析工作 严重依赖分析人员的经验 如何用计算机系统支持复杂海量的分析过程 ? 限制… 他们承担了大部分负担 依靠分析人员 * * 限制… 分析人员的沉重负担 依靠分析人员 * * 当前的分析需求 从不同的来源有效的集成知识和信息 连续的知识积累 提供自动的警告 为分析人员的查询提供答案 构造不同的案件情节假设 * * 定性, 定量分析 时间 & 频率分析 Databases 经验 自由文本 统一的知识系统 从不同信息来源和格式获取数据 * * 基本信息 组织 个人 人工情报 事件 数据库 银行交易 其它 数据源 政府数据库 通信情报 监听 反馈 人工情报 询问 检查 模拟 联结 事件生成 Events: Meeting (What, Who, Where, When, Frequency) Travel (Who, How, Where, When, Length) Phone call (Who, When, Length, Content, Frequency) Delivery (Who, When, How, Size, What, Frequent, Payment) Other (What, Who, When, Where) Crime (What, When, Where, Who, How) * * * * 罪犯 – 犯罪技巧 (爆炸-爆炸物制作, 杀人方式, 动机等等), 属于特定团伙和团伙中的角色 (计划者, 辅助者, 领导者, 执行者/马仔等等), 户籍地/暂住地, 入狱历史 团伙 – 成员, 角色 潜在目标 – 人群/公共机构/商业机构, 他们的位置 知识和经验 – 这些因素如何相互作用 – 包括外在的影响和经验 (过去发生的事件) 新的信息会源源不断 … * * - 西西里, 巴勒莫, 4/4/03 : “Corradi 拘捕了 Don Marcello” (公共信息) 理解信息 Corradi 是巴勒莫警方的的首席侦探 Don Marcello 是 Marcello 家族的教父 Marcello 家族具有很强的报复性 巴勒莫警方很可能遭到报复 文本信息的理解 外部数据访问 外部数据访问 Data Mining / 先验知识 推理, 警报 * * 理解信息 Bob 是 Marcello 家族的成员 Bob 是家族中的计划者和谈判代表 Marcello 家族的势力只限于巴勒莫 谈判代表到外面的地区寻找家族内没有的炸弹专家 炸弹制造和使用是 Marcello 家族没有