苏宁大数据平台运维方案.pptx

苏宁大数据平台运维方案技术创新，变革未来你认为以下哪些关键字对运维最重要？易用智能高效稳定性能MTTR流程自动化安全审计SLA规范故障预测苏宁大数据平台基本介绍大数据平台运维的痛点及解决方案平台优化及增强DOING & TO DO苏宁大数据平台软件栈介绍数据云 (DataCloud)大数据管理 平台元数据数据开发平台 准实时CBT 计算机器学习OLAP实时计算ZookeeperKafkaHiveSqoopSpark SparkSQL StreamingMLLibESLibraMapReduceSpark CoreKylinStormYARNDruidFlumeHBaseAlluxioCassan draHDFS服务层计算层存储层Web日志app日志爬虫合作数据……企n经营数据数据源典型数据流向WebServer流式离线Http请求LogServerKafkaStorm/Spark StreamingKafkan务系统输出poll计算FlumeFlume/DataFlowHDFS/HiveMR/SparkHDFS/HiveFTP数据交换计算输出数据交换FTP数据交换数据交换Pushn务系统DBDB平台发展历程第一Hadoop集群 10p虚机节点Storm SQL平台上线Druid/ES上线 诊断平台华佗上线Storm服务化j线 数据开发平台j线 引入Spark2014.62016.72015.52014.122013.102015.122017.3流计算平台上线StormHadoop版本升级大数据管理平台上线平台规模苏宁大数据平台基本介绍大数据平台运维的痛点及解决方案平台优化及增强DOING & TO DO大数据平台运维的痛点痛点1. 部署及运维复杂痛点2. 无资源使用视图痛点3. 任务相互影响，资源隔离性差痛点4. 排查问题耗时长，应用优化门槛高痛点1. 部署及运维复杂平台管理员业务开发解决1. 平台化、自动化大数据管理平台：主机管理，集群管理自动化t机列表解决1. 平台化、自动化大数据管理平台：主机管理，集群管理自动化t机详情t机运行组件解决1. 平台化、自动化大数据管理平台：主机管理，集群管理自动化集群列表解决1. 平台化、自动化大数据管理平台：主机管理，集群管理自动化集群详细信息解决1. 平台化、自动化元数据管理：数据字典,权限申请审批实施自动化解决1. 平台化、自动化元数据管理：数据字典,权限申请审批实施自动化数据字典d支持搜索解决1. 平台化、自动化元数据管理：数据字典,权限申请审批实施自动化权限申请解决1. 平台化、自动化数据流管理平台：集成Flume,智能扩缩容,插件式%节点小集群对接.1000qpYn务10节点q集群对接1000－10000qpYn务30节点大集群对接010000qpYn务FUU:KKpKr3RuYZKraF:1F:%F:(领取任务)领取任务failover分配任务e节点发现<GYZKr GIZOvK)<GYZKr YZGTdHy领取任务metricsmetricsmetricsmetricsWorker1Worker2Worker3000解决1. 平台化、自动化数据开发平台:支持10种不同的任务类型，支持任务流/任务管理，解决复杂依赖问题，可扩展解决1. 平台化、自动化数据开发平台:支持10种不同的任务类型，支持任务流/任务管理，解决复杂依赖问题，可扩展解决1. 平台化、自动化数据开发平台:支持10种不同的任务类型，支持任务流/任务管理，解决复杂依赖问题，可扩展痛点2. 无资源使用视图解决2. 资源可视化、人民币化存储/计算资源计量计费资源池使用可视化任务展板解决2. 资源可视化、人民币化存储/计算资源计量计费解决2. 资源可视化、人民币化资源使用可视化解决2. 资源可视化、人民币化任务展板解决2. 资源可视化、人民币化任务展板解决2. 资源可视化、人民币化任务展板痛点3. 任务互相影响d资源隔离性差我的任务为什么突然变慢了？是不是别人影响我了解决3. 差异化服务、物理隔离共享型独占型BZUrS<A/BpGrQ:GLQGBpGrQ BZrKGSOTM82GYK4ruOd5B资源浪费：离线、流本来就是错峰的解决3. 差异化服务、物理隔离共享型-YARN解决3. 差异化服务、物理隔离共享型-YARN3RuYZKr13RuYZKr%AKMOUT1AKMOUT%AKMOUT1AKMOUT%AKMOUT3AKMOUT4AKMOUT3AKMOUT4避免大集群：对ZK的压力，对Controller的压力逻辑分区：按照不同的业务场景分配，避免不同保障级别业务的相互影响解决3. 差异化服务、物理隔离独占型－Storm虚机3虚机z虚机(虚机)虚机4虚机%虚机1虚机x虚机y虚机1 虚机% 虚机3虚机4 虚机(