第九章 高端存储阵列架构漫谈.docx

高端存储阵列架构漫谈资料来源：/article/2013/0122/1147072.shtml从阵列所要解决的问题说起通常，业界按照价格、规模、性能等参数讲阵列产品划分为入门级、中端、高端三个级别。阵列往往要求在存取速度、可靠性、容量三者中取得一个权衡，任何一个阵列依据其定位的不同，这三点的权重会有所差别。在存储系统中，对于单盘而言，失效可以假定是一个常态。一个拥有几十甚至上千硬盘的系统中，硬盘的失效不可避免的事情，因此，阵列必须解决可靠性的问题。目前，解决可靠性的技术手段主要是数据冗余技术，比如RAID技术，通过记录额外的数据校验来达到数据恢复的目的。单盘由于受限于生产工艺，容量总是有限的，而用户往往希望得到更大的容量，因此硬盘阵列必须完成对多个单盘容量的整合，呈现给用户大的虚拟的硬盘。本质上，这就是一种虚拟化。我们知道，物理硬盘的存取速度取决于机械马达旋转的速度，考虑到可靠性、散热、能耗、噪音等因素，转速不可能做的太高，目前硬盘速度一般在5000RPM-20000RPM之间，因此单盘的存取速度（带宽）总是很小，阵列需要有效的将多个物理带宽整合。高端存储阵列架构如果按照控制器的个数来对阵列架构进行分类，高端阵列可以分为双控（参见图1）与多控两大类。双控架构典型的双控系统中（参见图1），两个控制板通过镜像通道连接在一起，进行数据交换。每个控制板的后端分别接入物理硬盘的环路（通常物理硬盘是双端口，刚好可以接成两个环路，见图1），主机可以通过任何一个控制板接入存储阵列，并看见统一的LUN空间。从软件上而言，由于只需要考虑两个控制器，和多控系统相比起来，双控系统的实现较为简单。图1：双控架构目前，在所有的高端存储阵列中，采取双控架构的只有IBM 2009年推出的DS8000系列。另外，在中低端存储阵列上基本上都采用双控架构。由于双控系统受限于诸如计算资源、内存、带宽物理限制等因素，性能不可能做到太高，所以可以见到的绝大多数高端阵列都采取的是多控系统。多控阵列架构基于多控的阵列主要是一些高端阵列系统，比如EMC的VMAX、HDS的VSP，IBM的XIV、HP的P10000和华为的HVS等产品。对多控系统按照连接拓扑进行划分，多控系统划可以分为基于总线交换式的架构、矩阵直连架构、全互联架构、交换式架构。如图2展示了基于总线交换式架构的逻辑结构。目前已经没有厂家采用这种架构，EMC和HDS的早期产品都曾经采用这种架构。该架构的缺点是可扩展性不强，且由于基于总线，存在总线争用。如图3是基于矩阵直连式的存储阵列架构，EMC的上一代产品DMX-4就是采用该架构，该架构的前端和后端采取矩阵式直接连接，缺点是可扩展性很差，同时由于连接信号线数目众多，在一定程度上也降低了系统的可靠性，目前EMC已经弃用该架构。图4描述的是基于交换式的架构，该架构通过交换ASIC将前端和后端连接进行数据交换，相对于矩阵直连式，它具有更好的可扩展性，但是问题是如何减少交换时延和交换争用。目前HDS的存储系统采用的是该架构。如图5所示的全分布式架构，该架构将串行降至了最低，使得系统获得了理论最高加速比。由于该系统的所有资源，包括计算资源，内存资源，磁盘资源都分散的足够开，存在资源争用的可能性极小，所以，图5的系统具有更好的性能，更好的可扩展性，同时也拥有更低的成本。目前市场上最新一代高端存储阵列HP P10000，EMC的VMAX 40K，华为HVS都采用这种全分布式架构。高端阵列架构实例分析-华为HVS图6 华为高端阵列HVS系统架构华为HVS采用智能矩阵式系统架构，如图6所示，也是一种基于完全分布式的架构，所有的计算资源（CPU），缓存，带宽等资源都均匀分布于每个节点中，在该架构下，不再存在全局缓存争用问题，串行化达到最低，使得系统获得了理论最高加速比，具有更好的可扩展性。华为HVS是目前业界扩展能力最强，性能最高的高端阵列，最大可以扩展到16个控制器，3TB Cache, 3216块硬盘，随机IOPS达到100万IOPS以上。基于PCIe的全交换架构HVS的全交换架构基于PCIe协议，PCIe协议是一种高性能、高带宽，成熟、稳定的串行通讯互连标准。HVS以双平面PCIe交换作为节点间互连。这种架构设计具有如下的优点：高可靠：所有部件全冗余，控制器间负载均衡和Failover，单个控制器失效不影响业务运行高扩展性：具备scale-out能力，从2个控制器起配，最多支持16个控制器，系统的容量、性能按需扩展高带宽：整个交换平面可提供192GB/s的交换带宽。方便部署：HVS的PCIe链路通过光纤连接，同一HVS系列产品的机柜允许跨数十米进行部署，允许布局在不同房间、甚至不同楼层。使得客户真正实现完全Scale-out的部署，降低了对数据中心机房的环境要求。块级虚拟化前面