智慧广电-云存储平台解决方案.doc

? ? ? ? ? ? ? ? 智慧广电:云存储平台解决方案 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 概述 1.1??建设背景 云存储平台为本次云媒资系统总体解决方案的一部分。主要针对海量的办公文件、关键数据、知识库文件、音视频文件、共享资料及其它各类数据的集中存储与共享，建立一套具有高可靠、可在线弹性伸缩，满足高吞吐量并发访问需求的云存储平台。为云媒资系统数据存储提供便捷、统一管理和高效应用的基础平台支撑。 1.2??设计范围 本技术解决方案针对海量数据集中存储与共享，提供从系统软硬件技术架构、原理、硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。 1.3??总体设计原则 针对本次工程的实际情况,充分考虑云媒资系统建设的建设发展需求，以实现系统统一管理、高效应用、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。 2 云存储系统平台设计 2.1??项目需求 2.1.1?容量需求 针对本次建设实际数据容量，一期拟建设48TB裸容量数据存储平台，主要存储办公文档、音视频文件、共享资料及其它各种文件类型数据。 2.1.2??吞吐量需求 为满足多用户或应用整体吞吐带宽需要，确保数据访问流畅，系统需提供多用户或应用并发访问高吞吐带宽设计，系统能够有效利用网络带宽，性能可通过规模增加实现平滑增长。 2.1.3??扩展性需求 未来根据业务应用的变化和发展，需要快速实施系统资源的升级，可以在业务服务不间断的状态下平滑扩展，不会导致架构发生根本性变化，为不断产生和变化的业务需求提供持续的支持，支持业务系统的快速整合和部署对核心系统基础架构的特别要求。 2.1.4??低成本需求 要求系统能够以低硬件成本、低维护成本实现高可靠高性能应用要求，充分提高资源利用率，简化管理，并能灵活、可持续扩展。 2.1.5??可维护性需求 要求系统具有自适应管理能力，安装、维护、升级简易方便，提供统一易用的WEB配置管理监控平台，实现智能化管理。 2.1.6??接口需求 要求能够提供通用的文件系统接口，方便用户及应用系统访问，减少与应用集成或开发工作量，实现系统快速部署与集成。 2.2??设计思想 采用业界成熟先进的云平台架构思想，采用软件实现对大量普通商用服务器存储空间资源进行虚拟化整合，实现软硬件故障高度容错，将系统控制流与数据流分离，同时使得数据在逻辑上集中、物理上分散，每台服务器同时对外提供服务，以达到多并发高吞吐量的性能要求，采用自注册机制、故障自动屏蔽、自动冗余重建技术实现系统自我维护和平滑扩展，系统服务7×24小时不间断。系统采用先进的编解码容错技术，可根据数据可靠性要求设置适当的冗余编解码策略进行系统部署，可以以极小的磁盘和硬件冗余度，实现高度的可靠性数据容错。 2.3??云存储系统方案 采用业界已经成熟的云存储资源管理系统，在多台普通商用服务器上构建高性能高可靠云存储系统，作为本次云媒资系统云数据中心存储平台，其应用部署示意图如下图所示。 云存储资源管理系统部署示意图 2.4??系统优势和特点 云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分，可以广泛应用于需要存储大量数据的应用场合（如安防、广电、电信、互联网、银行等领域）。该系统相比传统存储系统有如下技术优势： 2.4.1?高度可靠 存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。? 云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。 2.4.2?优异性能 采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。 同时，采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。 2.4.3?无限容量 系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024 PB (1G个PB容量)。 2.4.4??在线伸缩 云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容；同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。 2.4.5??通用易用 云存储系统提供符合POSIX标准的通用文件系统接口，无论