稳定运行300余天！河南移动核心营业系统OceanBase数据库分布式升级实践

稳定运行300余天！河南移动核心营业系统OceanBase数据库分布式升级实践

作者：C114通信网类别：[ 运营 ] 2024-09-25 12:12:01 来源：C114通信网

河南移动是河南省规模最大、客户最多、业务产品最先进、服务体系最完善的电信全业务运营企业之一。其原有核心营业系统用户量超6000 万、数据量超 80TB，面临着数据容量大、业务连续性要求高等挑战，亟需进行数据库的分布式升级改造。经过各项综合评估，最终选定 OceanBase 作为其核心系统的分布式数据库。在2024 外滩大会的OceanBase 见解论坛上，河南移动高级专家彭庆军作为嘉宾受邀分享了河南移动营业系统核心数据库分布式改造升级经验。他表示：基于自研轩辕数据总线替换方案，河南移动在两个月内完成了一套承载1500万用户的核心系统，从传统数据库到 OceanBase 的平滑升级，并取得运维效率显著提升、7×24 小时稳定运行的卓越成效。

01 建设背景：新一代IT架构需要新一代数据库

河南移动的现网即核心营业系统CRM呈数据容量大、业务并发高、连续性要求高、数据安全性高四大业务特征：

数据容量大。伴随着业务发展，河南移动用户数量现已突破6000万，其营业核心系统数据量已超过80TB。相当于每个库拥有1500万用户，大约20TB数据。

业务并发高。单库日SQL数量超40亿次，日订单量3千万笔（含查询工单），逢月末、月初业务量峰值更加持续增长。

业务连续性要求高。众所周知，移动行业是涉及民生的基础通信服务，需要为用户提供7*24h电信级服务保障，业务中断三个小时即为重大故障。

数据安全性高。核心营业系统数据库存储着超1500万用户的敏感信息和数据，数据不能错、不能丢，且存储和访问安全要求高。

彭庆军介绍，河南移动新一代IT架构对数据库有七大需求：高兼容、高可靠、高性能、高扩展、高容量、高安全、高运维。

对于当时的河南移动来说，数据库改造面临成本高、访问性能低、割接风险大、替换周期长四大难题。传统的数据库替换方案主要围绕功能、性能、运维，涉及数据库和应用系统两方面，一般存在两种替换方案：一，从Oracle迁移到国产数据库，需要该国产数据库完全适配应用和兼容Oracle；二，应用适配国产数据库，这是目前数据库替换采用的主流方案。

因为数据库的替换历来高风险低收益，而通过应用进行大量适配改造的换库方式等于是单程车票，不仅并行期应用存在两个版本，且上线后难以回切，一旦替换后的新库不满足要求，再次替换的难度和风险更高。有没有第三种替换方案？

基于此，河南移动开始为核心系统探寻新的数据库。根据河南移动的经验，数据库选型可以分为两个方面：一是如何评估一家数据库企业”；二是如何评估一款数据库产品。

在彭庆军看来，第一要看企业的综合实力，其次是企业的研发实力，最后需要关注这个企业做的产品是“长期主义”还是“短期的功利主义”。

02 两个月完成割接上线，成效显著

河南移动从选型到上线整体周期历经7个月。2023年5月，河南移动开启国产数据库选型，并重点关注几大国产分布式数据库；6月，河南移动选型集团公招标中标的OceanBase；9月，双方团队一起确认升级改造方案；10月，召开国产升级启动会；12月，核心系统成功割接上线。截止2024年9月底，河南移动核心营业系统数据库已稳定运行300余天。

彭庆军介绍：在确认升级改造方案时，团队一直比较犹豫，因为核心系统升级至国产数据库的动作很大，担心分布式数据库上线后运行不稳，害怕没有给业务带来任何效益。基于此，河南移动调研了已经上线OceanBase的山东移动和江苏移动。在听取了两地的实践经验后，整个团队心里底气大增。10月份，正式启动了核心营业系统数据库的分布式产升级之路。最终仅用两个月，当年12月份即完成系统上线。”

完成迁移升级之后，河南移动建设成效显著，基本总结为“一少、二快、三稳、四超”。

投入少。应用不改，人力、资源、成本投入少，极大降低了国产数据库替换成本。河南移动营业核心库的分布式改造和以往数据库的替换方式不同，不仅自有人员和应用开发商投入特别少，而且核心营业库的替换所需测试资源只有OceanBase数据库的资源，先将OceanBase生产库的资源做测试库，做完适配验证、性能压测觉得可行后再转为生产库，就不需要搭建一套完整的测试环境；

替换快。生态不变，脚本不变，免学习，替换快，大库两个月、小库一个月。河南移动有1500万的营业核心大库，两个月就替换完毕；

割接稳。风险不升，应用适配、性能测试360度全覆盖，生产上线后性能和上线前压测一致；

性能超。实现性能不降，缓存提效，连接增效，最佳配置模型，硬件加速，数据压缩比高。

在营业系统核心数据库上线OceanBase，河南移动运行效果显著。下图为割接前后对比，主要分为SQL执行性能对比和数据库性能对比。

SQL执行性能对比显示，通过跟踪业务整体运行、高峰时段运行，对比 Oracle 与 OceanBase SQL 平均执行时长，割接上线由平均 2.515 毫秒降低为 1.626 毫秒，性能整体提升 35.35%；通过跟踪核心 CBOSS 业务运行情况，对比多天 Oracle 与 OceanBase SQL 执行时长，割接上线后由原来平均 116 毫秒降低为 114 毫秒，平均节省 2 毫秒。

数据库性能对比显示，通过总线连接收敛能力，业务连接数 10760+ 不变的情况下，使用OceanBase进一步将数据库活跃连接数由原来的 4765 压降至 2140 ，数据库连接收敛比提升 45.4%。替换完成后，经历多个账期测试发现，整体业务运行稳定，数据库集群的平均资源利用率从7%-10% 提升至12%-20%，资源利用率大大提升。

从2023年12月份至今，河南移动核心营业系统稳定运行，平稳支撑多次月初、月末的流量高峰；与此同时，数据库集群平均的资源利用率也非常稳定，较原有集中式数据库的CPU利用率提升8%-9%。

03自研轩辕数据总线中间件产品，助力数据库升级

此前，河南移动CRM系统数据库现网的部署架构为集中式，各个应用系统通过数据总线连到后端Oracle，该架构共6个Proxy节点，中间通过SAN路由交换机连接后端的全闪存阵列，这种配置较此前Oracle小型机+集中的高端存储性能提升明显。

原集中式数据库共6个RAC节点，共享存储40TB，实际使用15TB左右，新分布式架构将 9 个计算存储合并为一个节点，总存储量57TB。得益于OceanBase的数据压缩功能，三副本架构最终实际使用15TB左右，总占用容量和原库基本持平。

新架构前端应用先连接轩辕数据总线，再连到后端OceanBase，共有12个节点，分为三个部分，每个部分有3个计算与存储一体的节点，和3个OCP管理节点，从新架构可以看出将路由器和比较昂贵的高端存储进行优化后，硬件成本得到一定下降，其数据库容量也有了显著提升。通过性价比高的本地存储代替昂贵集中存储，OceanBase全库数据压缩成效显著，告别容量焦虑。在数据库软件许可成本层面，单台x86主机的License费用仅为此前1/50，成本也实现了大幅下降。

新分布式架构中的轩辕数据总线，作为河南移动自主研发的一款助力数据库国产替代的数据库中间件产品，以应用不改、性能不降、风险不升、生态不变为目标，通过在业务应用与数据库之间增加一层“数据总线”抽象层，将国产数据库替换中的四大难题上移至轩辕数据总线层解决，以此助力大规模高并发场景 OLTP 数据库平滑国产升级，具有“投入少、替换快、割接稳、性能超”四大优势。

应用不改：不仅仅JAVA应用不改，C、C++应用，sqlplus、sqlldr、python脚本及配置全部不改，经过1.5万个以上的生产程序检验以及真实生产割接验证，实现了国产数据库无感知平滑上线的重大突破；

性能不降：将性能调优的关注点从关注数据库单次访问性能上升到关注业务办理每笔交易的整体性能，针对性地创造了高效缓存技术和连接收敛技术两项创新点，使交易中访问次数下降50%，连接数减少80%，从而实现了国产库性能下降40%的前提下，交易性能整体不降的重大突破。

生态不变：针对国产库替换后开发、运维人员整体转型学习成本巨大的问题，打造了异构数据库混合组网能力和透明的数据库运维工具两项功能，新库可异构组网替换且完全继承Oracle技术生态，从维护脚本、告警报错、维护工具，全部访问如初，无需改变，开发、运维人员无需改变技术栈，实现了数据库升级过程中选择权提升和替换后生态不变的可持续性突破。

总的来说，基于轩辕数据总线架构，河南移动国产数据库上线分4个步骤：第一步，应用接入数据总线，实现应用和数据库解耦，从总线侧获取全量生产应用SQL；第二步，部署国产数据库，作为生产测试库；第三步，流量回放及测试，将Oracle流量引入对应国产数据库，进行兼容性和性能的适配测试；第四步，一键切换，通过总线一键切换功能实现国产数据库的生产上线。

轩辕数据总线为河南移动节省了数千万应用改造费用，同时为数据库国产升级探索出了一条全新且可行的道路。

04实践经验：应用适配与性能提升

当下，对于新建系统的国产数据库升级改造往往会选择基于新的数据库进行开发，以避免适配迁移等问题，包括河南移动在内的众多企业数据库系统国产升级往往是指存量系统的国产升级。

虽然很多国产数据库的兼容性都可以达到90%以上，但不同应用因这些不兼容的差异改造工作量不同，应用改造费用评估标准很模糊，所以对于存量系统有升级改造需求的企业如何选型一款性价比高的数据库是一个避不开的难题。以河南移动为例，彭庆军介绍了其所在数据库团队的应用适配和评估流程。

第一步，识别改造工作量。传统方式是通过数据库厂商提供的评估能力确认数据库中有哪些不兼容的语句，然后让应用花费大量人力通过排查代码进行评估；河南移动评估方式是基于河南数据库中间件的评估方案，记录应用到后端数据库每个SQL的访问情况，先将整个SQL进行回放以筛选不兼容的SQL，同时根据SQL的访问记录去反查每个不兼容SQL下有问题的应用进程，统计出每个应用进程有多少处不兼容点，初步确认迁移改造的工作量；

第二步，对不兼容或不适配的SQL语句进行中间件改写，使其符合目标国产数据库并且能够在该数据库顺利运行。在这个过程中，河南移动自研了一套中间件产品轩辕数据总线，助力此次国产数据库平稳高效升级；

第三步，性能测试。传统的性能压测无法面面俱到，往往是通过主要业务根据日常配比去做测试。而河南移动采用的是真实全仿真的测试，将包括营业系统在内的每一天的全量SQL语句，以200、300的高并发，分别在国产数据库上进行压力测试，并将测试出来的较慢的SQL与该数据库一起进行优化，通过评估后确认具备上线条件。

在河南移动营业系统应用适配和性能提升过程中，由于营业A库数据量及每日归档量较大，原传统集中式存储空间紧张，归档过早清理导致OMS增量同步任务经常中断。在迁移演练阶段，OMS产品通过多次及时发版提升了同步效率，最终在正式割接期间平稳迁移完成，数据校验100%一致。在特定统计场景营业日报业务内，河南移动对递归查询进行了优化，进一步适配了OceanBase，性能获得了明显提升，目前的性能基本可以保证在40多秒内进行查询。

此外，河南移动还利用自研轩辕数据总线产品承担了主要适配改造工作，解决了兼容性相对比较弱的一些问题代码。比如面对高CPU利用率的函数切换到国产数据库经常会出现的一些难题，针对性地对 OceanBase 进行了一定程度的性能优化。

可以说对比上面所提到的“单程车票”改造方法，基于轩辕数据总线架构的国产数据库升级方式是一张“往返车票”，支持无感切换回原数据库。

写在最后

未来，河南移动将持续推进B（业务支撑系统）/M（管理支撑系统）/O（网管支撑系统）全业务域升级改造，并结合特有轩辕数据总线产品，推进 OceanBase 生态构建。

彭庆军表示：OceanBase经过了十年的内部打磨，又经过五年的外部推广，作为一款顶天立地的产品，其未来发展大有可为。此次河南移动自研的轩辕数据总线可以帮助千行百业解决场景差异的SQL适配问题。相信在轩辕数据总线的加持下，会让整个OceanBase分布式生态如虎添翼，为企业节省大量的改造费用，同时加快分布式数据库改造推广的进度，实现多赢！

稳定运行300余天！河南移动核心营业系统OceanBase数据库分布式升级实践

相关阅读