快速发展中公司研发和运维自动化技术体系.ppt

快速发展中的互联网公司 研发及运维自动化技术体系  内容概要 ·第一部分:要解决什么问题? 快速发展中公司的业务特点,如何自建技术设施 技术架构体系 运维研发过程的生命周期 ·第二部分:分布式架构运维研发解决方案 1、分布式服务架构 雨燕/MQ/ Schedule) 2、运维自动化标准化 3、项目发布自动化体系 (青龙/闪电/变色龙) 4、服务治理体系健康监测(雷达/Cat/质量系统) 5、测试环境的自动化构建(青龙/龙潭 6、自动化测试系统 SACC巧①国病统架师木会  快速公司 技术人员 SACC国系统 NT  快速发展公司对技术需求点 业务驱动、快速试错业务边开飞机 技术边修飞机既要统一、又要高效 快:几 到几百人 稀释 50个/周 周期短:1~2周 服务扩充:数百服务 上干节点 动化:不规 工 SACC国系统  刘這商效研发运维自动化技术体系 Service 服务治理、任务调度、集群协同 服务多维 服务治理能力调用链分析、接口质量、SoL质 度治理 量、实时日志等 DevOps 打包、自动化测试、检测、灰度 运维研发 持续交付能力发布、分区上线、运维自动化 配置标准化、指令标准化等 自动化 基础服务设施 分布式框架、存储缓存中间件、 快速开发能力自动化测试、云搜索、开放平台 营销平台等基础设施 SACC巧①国病统架师木会  °。。自建技术基础设施(开+自研 青龙自动化发布系统一一灰度发布、分区发布 龙潭运维配置自动化系统一一运维系统自动发现、标准化配置 变色龙原子指令系统一一支持数百台服务器、数百个原子脚本操作 龙猫云搜素平台一—支持数百个索引、上亿条数据 蓝鲸推荐计算平台一一支持数亿用户数据计算 白虎AP自动化测试系统、Mock模拟测试系统一一支持接口的自动化测试、模拟测试、Web自动化测试 AP放水系统、SQu防水系统一一治理系统不合理调用 雷达实时日志系统一一支持 Nginx、 Tomcat、Bl实时日志和离线跟踪 雨燕分布式开发框架一一统一分布式通信 ·闪电配置分发系统一一支持配置项、集群服务发现 Q分布式消息中间件(推模式IDP、拉模式Kaka)--1500w/周一~周五 Kv分布式缓存系统中间件( Memcached、 Redis、Tair)--亿级数据缓存 LPFs分布式文件中间件( MongoDB)-- MongoDB、图片、文件 DB数据库分库分表中间件(M5Qu)--无限数据量扩展 分布式任务调度中间件( Schedule)--支持1004服务、200+/日个分布式任务调度 push统一消息推送平台一一每日100w+推送量,推送至 Android、ios、 Email, SMS、微信、 Comet SACC巧①国病统架师木会  依赖开源的技术栈 语言:Java( Tomcat/ Spring)Shel(运维) Nodes(前端) Android iOs 分布式: ActiveMQ Kafka Zookeeper Router服务发现cat 存储: Mysql Mongodb Tair Memcached Redis 计算: Solr ElasticSearch Hadoop HBase Storm Spark 运维: Linux Nginx Puppet Zabbix OpenStack ·项目管理: Eclipse sⅥ N Maven构建 Hudson持续集成 Confluence知 识分享DMS项目管理 SACC巧①国病统架师木会  技术架构体系 营推广 C端:求职|校招|H5|微信|APP 业B端:猎聘通|面试快|微站|企业服务微信 饼放平登去曾P+0支付1电话1 H端:诚列通|面试快|微信|AP 营平 短信邮件|微信|私信 ERP:网站运营|用户管理|销售|客服体系 开发阶段 测试/部署/运维/服务治理 开发框架: Spring|H通信|脚本自动化 :API Mock Deploy 分布式:RPc调用MQ| Zookeeper1调度 Web|测试环境 中 Storage:关系1文件||缓存1一级 O p:报警 Service:A 志追踪|流量监控 QL质量|服务发现 件 Compute:搜索|推荐1解析1转换 配置|调度调用链  。运维研发过程的生命周期 Code/build Release/deploy Chan 开发阶段 测试阶段 上线阶段 服务治理 运营阶段 开发框果 青龙发布系统 龙潭运维系统 AP放水系统 APIWater·开放平台 变色龙自动化系统