【日志易】海量日志搜索分析技术及金融行业案例-大数据世界金融分论坛.pptx

海量日志搜索分析技术及金融行业案例提纲日志的应用场景过去及现在的做法日志搜索引擎日志易应用场景自我介绍产品总监，日志易, 2015~系统架构师，新浪微博，2014~2015技术专家，人人网，2012~2014《网站运维技术与实践》作者《ELKstack权威指南》作者《Puppet实战指南》译者日志，我们重要的数据资产应用及系统日志网络日志交易日志行为日志“The Log: What every software engineer should know about real-time data‘s unifying abstraction” -- Jay Kreps, LinkedIn engineerIT系统（服务器、网络设备）每天都产生大量的日志，包含了各种设备、系统、应用、用户信息日志的应用场景 运维监控可用性监控应用性能监控 (APM) 安全审计安全信息事件管理 (SIEM)合规审计发现高级持续威胁 (APT) 用户及业务统计分析日志管理系统的进化日志3.0：实时搜索引擎日志2.0：Hadoop 或 NoSQL日志1.0：数据库实时灵活Google for IT固定的schema无法适应 任意日志格式无法处理大数据量需要开发成本批处理，实时性差不支持全文检索日志易亮点 可编程的日志实时搜索分析平台 搜索处理语言 （Search Processing Language, SPL）SPL命令用管道符（“|”）串接成脚本程序在搜索框里写 SPL 脚本，完成复杂的查询、分析 可接入各种来源的数据日志文件数据库恒生电子交易系统二进制日志 企业部署版 SaaS 版每天500MB日志处理免费Schema on Write vs. Schema on Read Schema on Write索引时（入库前）抽取字段，对日志做结构化检索速度快但不够灵活，必须预先知道日志格式 Schema on Read检索时（入库后）抽取字段，对日志结构化灵活，检索时根据需要抽取字段但检索速度受影响 日志易同时支持 Schema on Write 和 Schema on Read日志易实现机制由用户选择需要的策略日志易功能 搜索 告警 统计事务关联 可选配置解析规则，识别任何日志 安全攻击自动识别 开放API，对接第三方系统 高性能、可扩展分布式架构索引性能：100万 EPS (Event Per Second)，20TB/天检索性能：60秒内检索1000亿条日志 秒级回馈细粒度的数据分析日志易分析事件优势日志分析的关键在于其完备性。日志易能够完整保存长周期、大容量的日志数据，为后期的分析提供了基础日志的格式、内容五花八门，对其分析的方式方法更是如此。日志易提供了灵活、高效的数据分析语句，能够帮助用户从容的进行细粒度的数据分析分析人员通过几下鼠标点击，即可快速完成诸如计数、时间段、数值分布、百分比、多级汇总、地理分布等统计操作，并通过最适合的图表进行呈现分析人员的任何一个想法、一个线索、一个疑点，都可以在几十甚至几秒的时间内得到验证，极大的提高了数据分析的效率完备的全量日志管理可视化统计1.某综合金融用户－设备及业务运维应用系统安全设备／网络设备…..…..Linux／windows服务器数据库600多个业务系统，面对每天产生大海量（几十TB）的日志数据，日常运维过程中，往往面临以下问题：1.逐台登陆服务器，无法集中查看日志和基于海量数据的数据挖掘及用户行为分析。2.日志查询方式比较原始，只能less、grep和awk等常见的linux指令，无法多维度查询（时间段、关键字、字段值）3.无法进行日志的业务逻辑分析和告警。1. 某综合金融用户－设备及业务运维1.接入约600多个业务系统，每秒产生约30万条日志，由于日志量庞大，为了降低防火墙策略的复杂度以及防火墙流量压力，将网络设备，服务器，业务应用日志通过专门网口接入到内网万兆交换机，直接转发到日志易集群2.各业务系统服务器中部署日志易采集agent，用于增量读取业务日志1.某综合金融用户－设备及业务运维1.每小时7亿9千多万条记录2.系统能稳定处理海量的日志信息3.几秒种就可以将近8亿条数据分页查询以及按应用分组1.某综合金融用户－设备及业务运维1.对网管系统一般难以监控的状态通过日志进行实时监控告警，如F5负载均衡的双机切换，内存保护，主机重启，电源异常，ip地址冲突告警，并在使用过程中及时发现ip地址冲突，快速解决故障，减少对业务访问对影响2.对核心交易系统交易超时事件进行告警3.对核心系统异常错误进行告警1.某综合金融用户－设备及业务运维对473多个agent进行界面化实时监控以及策略下发1.某综合金融用户－设备及业务运维每分钟／每天对核心业务（比如任意门）进行关键指标统计（如调用来源，调用量，接