金融行业存储的发展趋势与选择.doc

? ? ? ? ? ? ? ? 金融行业存储的发展趋势与选择 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 一、金融行业应用特性 在金融行业的IT系统中，存储设备有着举足轻重的位置。我们知道，金融企业客户的存款数据、贷款数据、理财数据、交易数据等等全部存在IT系统中，全部都是数字化、电子化的。这些数据的安全直接影响客户和企业的资金安全，这些数据的存取效率直接影响客户体验，它们都存放在存储设备中，因此存储设备的选择经常被大家关注。本文重点讲讲金融企业如何选择存储。 以银行为例，我们来审视一下金融行业的应用都有哪些特点。从业务类型来看，银行业务系统有交易类系统、经营管理类系统、AI、BI等分析类系统、办公类系统等。从数据的全生命周期来看，分为在线数据和非在线数据，非在线数据又有备份数据和归档数据。银行应用的多样性，决定了数据的多样性，从而也决定了对存储设备选择的多样性。 交易类系统是银行最重要的系统，它直接面向客户提供金融业务服务。银行的交易系统并非是单个系统，而是由许许多多的系统组成，其中最重要的系统是被称为核心系统的账务处理系统，围绕着核心系统，还有众多的产品、渠道类系统，它们共同构成一套复杂的分布式业务处理系统。每套系统都有相对独立的功能，客户完成任何一笔金融业务，都会涉及到多套系统，其中任何一套系统的故障或缓慢都会影响客户的业务体验。因此，交易链路上的每套系统都需要很高的安全性、稳定性和并发交易处理能力。近年来，随着移动互联网、Fintech对金融行业的影响，银行的应用系统也在不断互联网化，秒杀、交易银行等新的应用形态层出不穷，交易系统必须面对突发和不确定性的高并发，这对银行系统的稳定性和性能要求提出了更高的要求。 伴随着交易系统，银行还有大量的内部经营管理及分析类系统。管理分析类系统有实时分析系统及非实时分析系统，即我们常说的T+0系统和T+1系统。这些系统的数据类型和数据处理方式和交易系统有较大不同，这些系统对存储的要求也有所不同。分析类系统不会面临突发和不确定性的并发量，也不需要快速的单笔交易处理时间；但是分析类系统需要在一定的时间内完成海量数据的处理和计算，需要具备非常强的批量处理能力和并行处理能力，这就要求对应的存储系统有较大的吞吐能力。 二、金融行业对存储的需求 根据上述金融行业应用的特性，结合应用的具体技术形态，对存储的需求基本有这几类： 1、虚拟机应用的IO特性及对存储的需求 随着云计算、虚拟化技术的推广使用，金融行业不管是交易类系统还是分析类系统，大量应用节点，包括web服务器、业务处理的App服务器、通讯服务器，及部分体量较小的数据库基本都运行在虚拟机上。为了保证虚拟机的高可用，往往会构建虚拟化集群，并使用共享存储。虚拟机存储的数据和数据访问的特点是：数据存储量大，通常一个虚拟机需要的存储空间在几十GB到数百GB不等；数据的重复量大，可压缩的空间大；对IO性能的要求中等，对于应用节点，IO时延在10ms（毫秒）左右基本可满足要求，如果虚拟机上运行数据库，则IO时延通常要求小于5ms。金融行业虚拟机通常通过共享存储实现虚拟化的高可用，因此，对存储的稳定性有较高的要求。 2、容器应用的IO特性及对存储的需求 容器上运行的主要是无状态应用和轻量数据库。容器应用对存储的需求，基本与虚拟机的需求差不多。由于一些应用没法完全做到无状态，因此，容器应用往往需要共享存储，通常通过NAS来提供共享能力。 3、数据库应用的IO特性及对存储的需求 数据库系统一直处于金融业务系统的核心位置，几乎所有的应用系统都离不开数据库，数据库系统的性能问题常常是应用系统性能问题的关键。存储系统又在数据库中起着决定性作用。数据库按其处理业务的类型可分为OLTP（On-line Transaction Processing）、OLAP（On-Line Analytical Processing）和混合型。 OLTP主要处理的是前面所述的交易类系统，这类数据库系统对存储的IO时延极为敏感，并且都是随机读写，通常对存储的IO时延要求在2ms以内，应用系统的并发量越大，对存储性能的要求越高。高IOPS（Input/Output Operations Per Second）、低时延是OLTP数据库对存储的共性要求。近年来像Redis等数据库缓存的使用，隔离了应用对数据库的直接高并发访问，从某种程度上降低了数据库对存储的要求。 OLAP主要处理的是前面所述的分析类的应用，这类数据库对存储的吞吐量要求高、IOPS要求高，对IO时延也要求高，通常对存储的IO时延要求在数ms之内，由于OLAP可以容忍数据库的单个SQL响应时间略长，但对应用任务整体处理时间还是有一定要求，因此IO时延也不能太长。 还有一类是OLT