YY直播应用大数据决胜安全对抗的实践.pptx

《YY直播应用大数据决胜安全对抗的实践》YY直播应用大数据决胜安全对抗的实践12大数据安全对抗应用背景大数据分析在DDOS对抗中的应用3大数据分析在机器人外挂识别中的应用5YY直播应用大数据决胜安全对抗的实践大数据让YY安全防御体系从“温饱”过渡到“小康”YY直播应用大数据决胜安全对抗的实践欢聚时代(YY)直播业务 -- 娱乐&游戏&教育YY直播应用大数据决胜安全对抗的实践面临的安全威胁渗透入侵外挂DDOS 攻击 盗号盗Y币业务破坏逆向破解YY直播应用大数据决胜安全对抗的实践从“精确的模式特征” 向 “模糊的模式特征”演进 通过大数据分析、数据挖掘、实时计算等分析模糊特征模糊识别攻击、入侵、渗透等显著特征对抗技术演进确识精 TEXT 别 ADD CONTENTSYY直播应用大数据决胜安全对抗的实践YY直播应用大数据决胜安全对抗的实践YY直播应用大数据决胜安全对抗的实践大数据计算在平台框架 云防DDOS业务风控系统 WAF外挂对抗系统主机入侵检测账号安全系统 计算结果在安全系统中应用 业务系统(登陆、礼物、好友、搜索等) 登陆、支付等协议数据上报安全系统的log/message上报 Kafka&Storm&Hadoop 大数据(实时&离线)计算平台(K-Means、Decision Tree、Apriori等)基线历史数据： bps/pps/qps/rt 等基线数据 计算分析结果:(IP画像库、设备 画像库等)YY直播应用大数据决胜安全对抗的实践12大数据安全对抗应用背景大数据分析在DDOS对抗中的应用大数据分析在机器人外挂识别中的应用345YY直播应用大数据决胜安全对抗的实践YY直播应用大数据决胜安全对抗的实践防御DDOS技术演进 畸形报文特征 非法填充报文特征 黑名单攻击报文特征 白名单指纹特征 Syn cookie等人机挑战攻击报文聚类挖掘机器学习报文特征IP画像库大数据流量模型机器学习基于src_ip频率模式基于报文特征频率模式src_ip的散列度&归属地报文的重复度YY直播应用大数据决胜安全对抗的实践在DDOS防御中的应用场景（1）报文特征根据经验输入程序；（2）根据当前请求频率分析攻击源；（3）根据当前的请求src_ip对抗；（4）根据经验预先“拍”阈值；（1）机器学习报文提取特征；（2）大数据分析疑似的攻击源ip；（3）基于大数据IP进行“柔性可活”人机挑战和对抗；（4）基于历史大数据学习单ip响应延时数学分布;YY直播应用大数据决胜安全对抗的实践场景一：大数据分析在报文特征机器学习和攻击源IP的识别正常用户攻击者 镜像或分光A,B,C所有流 量 核心交换机C的攻击流量 清洗后C的流量WAF处理Http协议CC攻击云防DDOS 检测模块云防DDOS清 洗模块LVS+Nginx集群(WAF) C的流量被牵 引到清洗设备A的正常流量 B的正常流量大数据中心YY直播应用大数据决胜安全对抗的实践服务器A服务器B服务器C 镜像流量攻击检测引擎 攻击？没有攻击 发现攻击 BGP宣告路由流量清洗引擎大数据分析 平台流量回注 交换机转发流量到业 务服务器YY直播应用大数据决胜安全对抗的实践云防DDOS在清洗比例低于阈值自动抓包YY直播应用大数据决胜安全对抗的实践云防DDOS实现基于DPDK自动抓包分析报文特征解析报文并提取关键信息挖掘至长度为4字节的特征，发现特征：74 55 42 02挖掘完毕，最长长度为4字节，共15个特征，目前以文件方式记录YY直播应用大数据决胜安全对抗的实践发现特征恶意特征概率正文第46字节 第45字节 … …Vx，其中x指代数据包正文部分第x个字节实际所指代的含义V40 V41 V42 V43 V44 V45 V46 V47 V48 V49 V50 64 ** 94 ** ** 32 67 ** 26 16 e7 64 54 94 ** ** 32 67 ** 26 16 **由于算法决定，特征串需要经过序号排列最终符合阅读习惯，后续将根据调用特征的接口所需规范进行翻译YY直播应用大数据决胜安全对抗的实践云防DDOS在攻击报文中识别恶意IP 分析到第10个pcap文件将前述的Apriori算法改造，可用于大规模发现DDOS攻击中的恶意IP发现可疑IP写文件记录与恶意IP库中已收录IP相互印证可疑IP恶意显著性抽查结果YY直播应用大数据决胜安全对抗的实践伪造源地址攻击的样本时间戳源地址目标地址包长 TTL 源端口 目的端口.总包量40万，源地址数量39万，散列度极高99%的IP只发送一个数据包源地址表面接近，实则地理分布分散，海外地址比例过高，分别来源泰国，日本，韩国，澳大利亚，广州，福州等地（目标服务器位于辽宁沈阳）不同位置的服务器访问相同的目标服务器，TTL高度集中在同一水平（238）YY直播应用大数据