从运维助手到数据专家.pdf

日志云 ——从运维助手到数据专家 Recently … … Reading… … movie Agenda 1.开天辟地，散落在四处的数据 2. 采集社会，幸福的自给自足 3. 农业社会，日志征服了我们 4. 工业社会，再也回不去了 5. 下一站 开天辟地 从第一台硬件设备开启运转，一缕曙光划破长空… … 开天辟地 从第一台硬件设备开启运转，一缕曙光划破长空… … 通信数据（Wire Data ） 系统之间2~7层网络通信协议的数据，可通过网 机器数据（Machine Data） 络端口镜像流量，进行深度包检测DPI （Deep IT实体产生的数据，包括传感器、服务器、网络 Packet Inspection）、包头取样Netflow 等技术分 设备、操作系统、中间件、应用程序，他们是时 析，入口处的流量清洗。 间序列事件数据。 代理数据（Agent Data ） 是在.NET、PHP、Java 字节码里插入 代理程序，从字节码里统计函数调用、 堆栈使用等信息，从而进行代码级别 的监控，进程内数据，APM性能分析。 机器数据可以用来： 故障分析 安全审计 业务分析 机器数据可以用来： 故障分析，but 常常事后 安全审计，but 不怎么及时 业务分析，but 其凌乱不堪 May 716 :07:10 pelinsystemd [1] :StartingCommandScheduler ... May 7 16:07:10 timestamp systemd[1]: Starting Command Scheduler... data timestamp + data = log lifecycle of a log actual lifecycle of a log actual actual lifecycle of a log 采集社会 07年以前，最纯粹的时代，shell命令 +正 则表达 采集社会 Shell Command cat grep sed awk tail sort 采集社会 Regular Expression 采集社会 优点：培养（磨练）出一批脚本高手；。 缺点：效率不高，看心情，看人。无界面， 无归档，无批量，三无主义。 农业社会 2007~2012 ，解决三无（最简方式，纯 手工打造），进入农业社会 农业社会 … … LogAgent 1 定时任务日志归档 AppLogProxy 2 应用日志抓取、去重、索引、告警 AppLogMgt NAS DataStore 3 实时脚本下发，批量数据检索 TAP 农业社会 优点：纯手工打造，工匠精神！ 农业社会 缺点：适用范围有限 日志结构化有限 检索性能有限 农业社会 缺点：适用范围有限 日志结构化有限 检索性能有限 工匠流失惨痛 农业社会 矛盾论，优秀的项目成就杰出的工匠，杰 出的工匠极易流失（天经地义），流失工 匠的项目极易流产。 工业社会 当下…再也回不去了 工业社会 关于工匠流失，选择开