国信证券基于对象存储技术的海量非结构化数据管理实践.doc

? ? ? ? ? ? ? ? 国信证券基于对象存储技术的海量非结构化数据管理实践 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?前言： 金融科技是券商行业创新发展的助推剂，国信证券在科技创新和应用的过程中，始终坚持以体验为核心，以数据为驱动，以技术为依托，为需求各异的投资者提供覆盖投融资全环节的智能化、专业化、陪伴式金融服务，同时帮助投资者提升投融资能力。 背景： 国信证券将科技领先战略视为公司战略的重要组成部分，大力发展金融科技，建立行业领先的科技能力，驱动业务创新，引领公司数字化转型；利用信息技术巩固和加强公司在经纪业务的领先优势，推动业务全方位发展，全力积极探索建立财富业务模式和生态，形成多渠道多终端的产品体系，与用户共同成长。从2007国信证券推出了行业内首个自主研发的手机证券应用金太阳，到2016年重构符合“互联网+”概念的金太阳手机证券系统和服务，在科技创新方面，国信证券一直走在行业前面。 互联网+时代的到来，引流渠道丰富、服务方式便捷、服务时间灵活，整体带动了券商行业非结构化数据爆发式增长。在业务种类的不断丰富，业务体量飞速增长，业务数据类型呈现多样化趋势的同时，数据存留的时间要求越来越长，使得企业需要管理的数据体量越来越大，海量多态非结构化数据的访问效率将直接影响上层业务体验。所以，企业已经需要进入到按照业务数据类型进行精细化的数据存储与管理阶段。但是，这些数据在为企业发展提供强大驱动力的同时，也给数据的管理带来更大的挑战：?? 互联网业务发展壮大，请求接入越发分散，海量数据同步和就近访问的需求越来越强烈?? 如何保证数据长久保存、随时可调阅以满足国家法律法规要求?? 在保证业务稳定运行的同时，进行硬件更新、容量扩展以及故障更换的问题?? 传统的数据备份无法解决海量文件的逻辑数据备份的问题?? 文件保留时间很长，文件数量和文件的容量大，带来存储成本问题 因此我们需要一种于海量数据中快速数据获取、具备法规遵从功能、支持数据防篡改、资源扩展灵活简单的存储产品来支撑业务发展和满足行业监管的双重要求要求，同时兼顾产品运维便捷、数据保护和容灾方案安全可靠和存储资源TCO可控。 挑战： 按照IDC的预测，到2025年商业数据将达到163ZB，而非结构化数据其中的占比将达到80%。海量的非结构化数据会极大增加企业基础架构的压力，主要包括以下几个方面：1.????? 如何提高业务的数据访问效率；2.????? 如何实现透明的的资源容量扩展；3.????? 如何实现便捷的节点更新替换；4.????? 海量对象数据流向/访问的可视化 以证券行业的互联网业务为例，通常来说，互联网业务通常会采取多数据中心多活架构，充分保障服务高可用。诸如开户录音、录像数据需要长期保留并拒绝篡改，在数据的保留期内能快速调阅备查等特点，这就要求业务系统的底层存储的架构要灵活，功能要丰富、访问便捷和存储成本低。 因此，当业务系统所遇到的问题已经无法用传统的方案来解决时我们将目光转向了正在蓬勃发展的对象存储技术。对象存储实质上是大规模的键值存储，能够在单个全局命名空间中存储PB或EB级的数据，并允许使用简单的键（对象名称）来实现海量数据下时间复杂度O(1)的读取效率。写入对象存储的数据采用跨节点纠删码技术（比如Reed-solomon codes）来实现数据保护并降低存储的开销，采用校验和（Checksum）的方式来保证数据的完整性，通过提供跨地域、跨数据中心的数据复制，以进一步提升数据的安全性。对象存储服务接入方式灵活，与操作系统耦合度低，方便为业务系统提供快速接入，在功能方面有能保障业务数据的持久化、完整性及防篡改，非常契合诸如互联网开户等新兴业务数据存储需求。 但是，即便如此，我们依旧秉承着“没有实践就没有发言权”的理念，在项目启动前做了充分的准备工作。例如，在技术调研方面，综合参考了IDC和Gartner等专业报告，优选行业头部公司产品进行技术评估，选取多家行业头部公司进行沟通交流，产出技术对比矩阵；在测试方面，对选型产品的基础功能和企业业务场景契合度进行测试，搭建与实际生产环境一比一的测试环境进行业务场景功能测试；最后，项目组还通过拜访及技术交流等方式对了国内外大型金融同行的经验进行参考借鉴。 经过前期系统化的准备与测试，在2015年我司首次引入了一款采用私有接口协议的对象存储，在本地数据中心和同城数据中心实现了一套集群两个数据中心三个数据副本的的对象存储集群部署，在数据中心内通过专属服务网络和多机柜部署实现故障域隔离，在数据中心间采取异步复制方式实现数据同步。经过4年的业务使用磨合，国信证券基础架构团队在对象存储技术领域积累了丰富的运维管理经验，期间逐步上线了多个系统包括网厅业务