天津滨海农商银行：中小银行大数据平台双数据中心的多活应用及灾备实践项目

  原标题：天津滨海农商银行：中小银行大数据平台双数据中心的多活应用及灾备实践项目

  天津滨海农商银行具备两地三中心的数据中心架构，在天津建设了大港数据中心、空港数据中心，在北京建设了异地灾备数据中心。自2018年以来，天津滨海农商银行在空港数据中心建设了国产星环大数据平台（Transwarp Data Hub，简称TDH），用以全行70多个业务系统数据的存储、计算、加工、批处理、OLAP等场景建设，但随着数据集中，一旦大数据平台发生故障就可能会影响全行工作。虽然所选用的国产大数据平台集群配置了3个数据副本，可用于数据恢复，但随着自然灾害、外部攻击、错误操作、硬件故障等风险，仍不可避免平台级、机房级，甚至城市级的灾难风险。中小银行资金薄弱，怎么来实现自主可控又成本低廉的国产大数据平台多活应用及灾备体系建设是一个巨大的挑战。因此，天津滨海农商银行启动中小银行国产大数据平台双数据中心的多活应用及灾备实践项目。

  项目整体方案采用国产星环数据平台同城多集群备份和异地数据备份搭建灾备体系，数据远程实时/定时同步备份，在灾难发生后确保系统能将数据恢复至既定时间点(RPO)，以及在既定的时间内恢复(RTO)。先后实践了国产星环大数据平台在线扩容、建设新集群、数据同步、灾备切换、在线升级、提速、异地灾备云搭建，提升了大数据容灾保障能力。先在大港数据中心搭建一套新的大数据平台集群，与空港数据中心原有大数据平台集群进行多集群备份建设，两套集群间通过大数据备份恢复系统实现数据同步，数据同步完成后，进行灾备切换，原空港数据中心主集群降级至备集群，大港数据中心大数据平台升级至主生产集群，同时完成大数据平台在线升级、提速、异地灾备云搭建。整体架构图如下图所示。

  项目中建立的大数据备份恢复系统可快速低成本落地灾备方案，用户不用再关注具体的应用，具体业务表类型和存储原理，实现一键切换。支持数据热备、数据温备、数据冷备等多种备份方式，支持跨版本跨平台的跨集群数据迁移，可以通过可视化方式完成数据同步备份任务编排、过程监控、运维诊断，支持表级别和库级别数据同步备份，支持全量和增量数据备份，支持数据变化自动感知，通过功能资源化、使用定量化、服务个性化、界面可视化设计，实现低建设成本、低门槛应用。双活技术架构图如下图所示。

  项目中采用的TDH是企业级一站式大数据综合平台，提供了丰富的产品以支持多种业务场景，其数据存储也会展现出多种形态。例如历史数据以文件形式存储在HDFS分布式文件系统中，有必要进行分析的数据以ORC事务表的形式存储在Inceptor中以保证数据对事务的支持，涉及到大规模并发查询场景的数据存储在Hyperbase中等，因此，大数据备份恢复系统要根据不同的存储类型实施灾备策略，如下图所示。

  大数据备份恢复系统采用B/S的产品架构，独立于生产集群与备份集群之外，起到了灾备方案设计与灾备任务调度的作用。同时，采用主备的部署模式，实现了灾备产品的高可用。大数据备份恢复系统提供了可视化的操作页面以及丰富的统计监控页面，用户仅通过浏览器进行简单操作就能直观地设计灾备方案、分析灾备任务。能够给大家提供以下几种灾备策略的选择：

  对于在线数据库Hyperbase，建设同等规模备份集群，保持备集群与当前应用系统数据的同步。一旦主集群发生故障，在规定的RTO时间内迅速切换业务。

  对于离线数据库Inceptor和ArgoDB，建设同等或较小规模集群，主集群数据定期同步至备集群。主集群发生故障，使用定期备份数据，在规定的RTO时间以内恢复数据和业务。

  不建设备份集群，以低成本方式将数据以文件形式备份到文件系统、文件服务器等，集群故障后，修复或新建集群，在规定的RTO时间恢复数据和业务。

  数据备份能力的另一种用途，快速实现跨CDH与TDH产品、跨TDH版本、跨TDH与TDC平台数据迁移，用以机房搬迁、集群升级、数据云化、数据实验、数据交换等。

  一是多活应用保障业务连续性。我行规划的国产大数据灾备体系创新性的实现了多活应用架构。整体灾备体系搭建完成后，两个集群可同时运行，实现多活容灾，当一个集群出现重大故障时，能够最终靠大数据备份恢复系统切换到另一个集群，切换时间很短，从而保障业务连续性。

  二是两地三中心灾备体系建设保障数据安全。采用“生产+同城+异地”的两地三中心的灾备体系建设，实现大港和空港数据中心数据6副本多活应用，异地灾备中心1份数据备份，保障数据安全。一是发生数据级故障，大港数据中心的大数据平台集群通过调用本地集群的其他副本提供服务，并通过复制恢复3副本，保障数据安全。二是发生机房级故障，当大港数据中心的大数据平台集群没办法提供服务，将切换到空港集群提供服务，保障数据安全。三是发生城市灾难，通过恢复异地灾备中心数据备份恢复，保障数据安全。

  三是自主可控的国产大数据平台及国产大数据备份恢复系统建设符合数字化转型和国家国产化新基建发展。系统采用的是自主可控的国产星环大数据平台TDH、星环大数据平台大数据备份恢复系统、国产华为超融合、英方及迪思杰同步软件、OpenGauss企业级分布式关系型数据库，实现两地三中心多活应用和国产云架构异地灾备体系建设。

  四是可视化大数据备份恢复系统，实现一键切换，快速低成本落地灾备方案。支持数据热备、数据温备、数据冷备等多种备份方式，支持跨版本跨平台的跨集群数据迁移，可以通过可视化方式完成数据同步备份任务编排、过程监控、运维诊断，支持表级别和库级别数据同步备份，支持全量和增量数据备份，支持数据变化自动感知，通过功能资源化、使用定量化、服务个性化、界面可视化设计，实现低建设成本、低门槛应用。

  五是简化了大数据灾备机制。系统通过与IT技术对信息系统的数据和应用程序进行预先复制备份，以便在一定时限内完成特定时效要求前的数据恢复，进而保证业务的正常开展。这种方式和机制使得用户不用再关注具体的应用，具体业务表类型和存储原理，实现一键切换，保证了安全、简便的效果，提高了运维能力和数据安全性。

  大数据备份恢复系统支持数据热备、数据温备、数据冷备等多种备份方式，支持跨版本跨平台的跨集群数据迁移，具备数据同步备份任务编排、过程监控、运维诊断功能；支持表级别和库级别数据同步备份，支持全量和增量数据备份，支持数据变化自动感知。整体搭建完成后，两个集群同时运行，实现多活容灾，当一个集群出现重大故障时，能够最终靠灾备切换快速在另一个集群启动业务，切换时间很短且可保持业务连续性，提升了大数据容灾保障能力。

  部署基于国产云架构的灾备系统IaaS基础平台，遵循开放架构标准，融合服务器、分布式存储及网络交换机为一体，集成分布式存储引擎、虚拟化平台及管理软件。构建实时复制的数据库灾备系统，位于天津的生产数据中心重要核心业务系统数据库实时同步至位于北京亦庄的容灾中心，实现异地多活，符合《GBT 20988-2007 信息安全技术信息系统灾难恢复规范》要求。实践国产化下的异地灾备模式，采用国产华为超融合、英方及迪思杰同步软件、OpenGauss企业级分布式关系型数据库进行两地三中心国产云架构灾备体系建设。

  现阶段，我国各金融机构灾备中心多处于空转阶段，多数金融机构灾备中心和灾难恢复能力尚未进行实战演练和接受真实事故检验，我国金融业灾备体系总体恢复能力还有待进一步考验和证明。因此，天津滨海农商银行建立并完善灾难备份建设的应急机制，积极开展灾备切换及应急演练工作，建立业务应用与科技系统灾难恢复协作联席机制，提高突发事件的解决能力，提高天津滨海农商银行灾难恢复整体性水平。

  项目基于分布式存储、大数据平台、数据同步软件、关系数据库等国产技术进行集成开发，符合国家国产化新基建发展的策略，可满足天津滨海农商银行数字化转型的基础平台底座规划。项目主要是采用的星环大数据平台TDH是一款自主研发、功能完备、高性能、安全稳定、架构创新的国产大数据平台。同时，TDH作为一款国产化大数据平台，已与多类国产化服务器及操作系统完成了互认适配。目前TDH获得的硬件服务器兼容性认证包括长城飞腾、华为泰山、太极、浪潮、中科曙光等多款，获得的操作系统认证包括中标麒麟、银河麒麟、统信UOS等，且均具有成熟落地案例。

  项目采用的国产星环大数据平台TDH是国内外领先的高性能平台，比开源Hadoop 2.x快10~100x倍。TDH应用场景范围覆盖各种规模和不同数据量的企业，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台可处理10GB~100PB的数据，并且在每个数量级上，都能比现存技术提供更快的性能；用户不再需要混合架构，TDH可以伴随企业客户的数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。TDH可支持离线批处理、OLAP、交互式分析查询、实时流计算、非/半结构化数据存储与检索、数据挖掘、机器学习等多种业务场景，满足天津滨海农商银行数据仓库、数据集市、实时数仓、营销风控、BI查询等全部场景的分析需求，为基础架构建设提供坚实基础。

  本项目通过在线升级高版本的TDH，在SQL支持性、分布式事务支持、数据安全、完善开发套件、简化运维管理等方面做了巩固，同时强化并改善了产品性能和使用体验。

  项目由天津滨海农商银行总行信息科技部牵头，大数据分析团队和系统集成维护团队负责实施，星环信息科技（上海）股份有限公司提供技术上的支持。采用分阶段方式，主要经历了以下几个阶段。

  此阶段时间段为2021年03月至2021年05月，其间主要完成了项目立项准备、项目启动、业务需求分析、业务功能和技术构架的高层设计。提交了现状需求分析报告、各功能模块的高层设计、技术构架和接口设计等文档。

  此阶段起始时间为2021年05月，其间主要完成了系统详细设计工作，提交大数据平台数据备份恢复系统产品设计说明书、实施规划方案等文档。

  此阶段起始时间为2021年06月至2021年9月，其间完成了：1)完成空港机房大数据平台生产集群在线）完成大港机房大数据平台新集群搭建；3）完成同城双中心灾备体系搭建，实现双中心多活应用，大数据备份恢复系统上线）采用国产华为超融合、英方及迪思杰同步软件、OpenGauss企业级分布式关系型数据库进行两地三中心国产云架构异地灾备体系建设，实现数据备份；5）在线升级、切换演练等一系列实践工作准备。提交了数据备份恢复系统测试报告、上线方案、系统设置、运维手册等文档。

  此阶段起始时间为2021年9月-11月，其间完成了大数据备份恢复系统的上线及试运行，针对试运行期间发现的问题进行了优化调整，完成异地中心灾备体系搭建、空港数据中心生产集群平台在线升级和灾备切换演练。

  此阶段起始时间为2021年12月，其间完成了空港数据中心生产集群平台在线升级实践和大数据备份恢复系统的推广应用。

  天津滨海农商银行格外的重视国产大数据平台多活应用和灾备体系建设，积极落实BCP/DRP（业务连续计划/灾难恢复计划）的具体部署，做实做强国家应急响应工作的重要抓手，在整体项目中落实总体设计、科学评估，更须统筹兼顾、综合施策，科学建立了一套行之有效的国产大数据平台多活应用和灾备体系，有效促进大数据应用示范的推动。灾备系统整体搭建完成后，两个集群同时运行，实现多活容灾，当一个集群出现重大故障时，能够最终靠灾备切换快速在另一个集群启动业务，切换时间很短且可保持业务连续性。

  数据中心作为承载业务的重要 IT 基础设施，承担着稳定运行和业务创新的重任。在新的经济发展形势下，数据中心需要更高效地支持业务和信息共享需求，提供不间断的服务，这对数据中心的资源整合、全面安全、高效管理和业务连续性提出更高的要求。中小银行国产大数据平台多活应用及灾备实践项目主要带来的经济效益如下：

  一是通过中小银行国产大数据平台多活应用及灾备实践项目，构建出完善的连续性管理体系。项目以较高标准做好连续性管理实施方案，打好连续性管理的基础；在后续阶段，各级机构结合真实的情况，不断补充、细化、完善，使天津滨海农商银行连续性管理进入一直更新完善的发展轨道。

  二是通过建设国产大数据平台数据备份恢复系统，避免了天津滨海农商银行发生运营中断或重要数据损毁、丢失、泄露导致的经济秩序混乱或重大经济损失、影响金融稳定，阻止了数据丢失对公众利益造成特别严重损害的突发事件。

  三是实现了国产自主可控的大数据平台双数据中心的多活应用及灾备实践，提升了大数据容灾保障能力，有效促进大数据应用示范的推动。本项目基于分布式大数据平台集群开展多活应用及灾备体系建设实践，针对金融大数据的特性，搭建基于多源多维度数据汇聚融合的大数据平台多活应用，实现对结构化、非结构化海量大数据的数据分布式存储和高性能计算，为金融行业提供低门槛、高效率、便捷式的大数据分析服务多活应用，有利于金融大数据产业的加快速度进行发展，有效促进大数据应用示范的推动。

  四是基于分布式存储、大数据平台、数据同步软件、关系数据库等国产技术进行集成开发，利用数据平台底层技术实现数据复制，统一实现不同存储类型数据的一键切换；通过功能资源化、使用定量化、服务个性化、界面可视化设计，实现低建设成本、低门槛应用。

  由于近年来银行电子化程度慢慢的升高，数据越来越集中，数据凸显出在银行业的重要性。在小概率的极端情况下，银行的系统及数据中心可能会遭到洪水、地震、盗抢、黑客侵袭、乃至、甚至战争等天灾人祸的破坏。此时如果没有系统和数据的备份，会造成数据丢失，系统崩溃，银行业务因此完全没有办法开展。这对一家银行来说风险巨大，甚至会成为灭顶之灾。通过建设大数据平台数据备份恢复系统，为天津滨海农商银行带来主要社会效益如下：

  一是通过功能资源化、使用定量化、服务个性化、界面可视化设计，实现低建设成本、低门槛应用。真正按需开发，最好、最快、最大的开发利用信息资源，避免信息化重复投资。

  二是项目成果将适用于任何想要快速推进大数据灾备体系落地的中小企业。可以迅速起到农村商业银行的模范带头作用，为农商银行打造数字化转型打下坚实的数据基础。

  天津滨海农商银行作为一家以国有股权为主导、非公有制企业参股的混合所有制的现代商业银行，天津滨海农商银行坚守“让金融普惠大众”初心，不遗余力地履行社会责任。建立完整管理、大数据灾备体系。适应新形势要求，完善各种管理机制，并落实好每一环节的责任人，以增强监管制约的力度。逐步的提升行内IT部门的科学技术水平，保证行内数据的质量，为IT系统的稳定运行奠定基础。同时，充分的发挥IT部门的监管职能作用，明确各自责权，把系统稳定性和安全性的工作重点放在事前控制上，以避免数据的丢失造成的损失。