分布式数据库金融关键业务场景应急处理思路梳理

以下通过分析金融关键业务场景中故障产生原因，总结统一的应急处理思路，形成普适的应急处理方案和修复验证指导，为金融关键业务场景的分布式数据库应急处置提供参考。

一、应急预案

分布式数据库在银行、证券、保险等金融机构生产环境运行时，都存在发生故障、停止服务的风险。保障生产系统数据安全、确保服务稳定是金融机构科技部门最重要的工作之一。为了快速响应故障，保障分布式数据库生产系统数据安全、服务稳定，需要提前分析可能产生风险的原因，并事先制定应急处置方案。 分布式数据库系统技术栈包括分布式数据库组件，操作系统、服务器及服务器运行环境，服务器运行环境又包括机房环境和地域环境。分布式数据库生产系统主要面临的风险如下：

1.系统故障

指支撑分布式数据库运行的系统（或子系统）发生故障、停止服务。系统栈每一层中的系统都存在发生故障的概率。分布式数据库组件可能在运行过程中出现 bug 导致停止服务；操作系统在运行过程中可能会出现故障；服务器硬盘可能出现坏道，无法读取数据，内存可能部分失效，读取出错误内容等；机房环境可能出现供电故障，空调故障等情况；地区环境可能出现地震、台风等影响数据中心机房运行的灾难。任何系统都存在发生故障的概率，数据库高可靠方案和系统及运维应急方案都是为在一定约束条件下降低故障发生的概率。当故障发生的概率足够小时，系统运行的安全就得到了保障。一般可以从以下三方面考虑，降低故障发生的概率：

一是要选择故障率低的系统。比如选择经过检验的、故障率低的分布式数据库、操作系统、服务器、机房供电设备、空调等系统，建设机房时所选地区环境避免在地震带上，避免历史上经常受到台风侵袭的地区等。二是准备冗余资源，确保系统栈中不存在单点故障。同等条件下如果准备两个或多个系统，其同时发生故障的概率将远远低于单个系统发生故障的概率。三是及时发现系统异常，并且一旦发生故障，能立刻自动或手动启动备用系统保持/恢复线上服务，快速处理故障系统，恢复故障系统的服务。故障和故障处理，需要关注如下几点问题：

（1）各个系统在设计阶段要考虑预设屏蔽故障子系统的能力，单一系统（或子系统）发生故障时，该系统不再接收请求、提供服务。这种机制可使故障被限制在对服务影响最小的范围内，防止故障蔓延。（2）分布式数据库最重要的资产是数据，必须着力避免因局部系统故障造成数据丢失。例如硬盘损坏时不能造成硬盘上的所有数据丢失。需要详细制定数据备份及恢复策略，在恢复系统服务时，保障数据不丢失。（3）虽然所有技术冗余资源同时发生故障的概率很小，但仍需要制定相应的故障应急处理预案，包括业务处理方法或手动处理方法。

2.系统资源耗尽

指系统资源耗尽，不能提供更多的服务，主要有两种场景： （1）由于任务繁重，系统资源已全部投入服务，系统处理能力达到峰值，新的任务只能排队等待处理。此时系统处于满负荷持续服务的状态，比如 CPU 满负载、网络带宽资源耗尽等。这种情况需要先排除是其他系统（子系统）故障而导致。 （2）资源耗尽后，系统运行出现故障，造成停止服务。比如硬盘已满，但日志记录系统仍要写日志文件。对于此类资源耗尽风险，需要采取如下两类策略：一是事先预防策略。系统需要具备足够的横向扩展能力，通过增加服务器等资源增加峰值处理能力。二是监控应对策略。系统需要具备强大的监控告警能力，一旦某种特定资源使用率超过阈值就进行告警，以便运维人员果断的启动增加部署资源流程。

3.操作风险

指生产运维人员在分布式数据库系统栈中进行系统操作时，发生操作失误，从而造成数据丢失或者系统停止服务的风险。主要应对措施包括以下几个方面：（1）做好培训。通过培训可使运维操作人员充分理解分布式数据库系统栈中相应系统的运作原理，熟练进行操作。（2）做好权限管理。通过权限设置，指定专项人员进行风险操作。 （3）制定操作规程。完善数字化运维工具，通过支持双人操作的工具，操作规程等降低误操作的概率。（4）做好系统数据备份。在执行风险操作前先对相关数据进行备份。 （5)及时恢复。一旦出现误操作，按照操作规程及时恢复数据、恢复服务。

分布式数据库在金融关键业务场景的应急处理并不仅仅指系统栈中系统突然发生故障后进行的处理工作，还包括系统设计及故障处理能力。完备的应急处理需要从系统规划建设阶段开始重视并落实。 分布式数据库系统运行风险的处理思路也对系统栈中的各个系统的厂商、应用系统开发商及运维系统开发商都提出了要求，所以需要建立和各厂商及开发商的沟通渠道。高效、及时、可达的沟通渠道，能够把需求和问题反馈到各厂商及开发商，并得到顺利解决。此外，建议在分布式数据库上线前，针对各种运行风险事先准备应急预案，并为预案顺利执行创造条件，包括完成应急预案制定、应急演练、应急培训等事宜。保证从分布式数据库上线开始，应急预案就是真实可用的。一旦出现任何系统故障或报警，能根据应急预案进行处置。

二、应急准备

应急准备工作指系统故障或风险事件发生前，为防范风险进行的所有工作，包括以下内容：

1.组织层面

有效处置突发事件，快速恢复重要业务应进一步完善应急组织架构中的应急指挥层、应急执行层、应急保障层设置。根据事件影响程度及持续时间等因素对突发事件进行风险等级划分，并根据不同等级的风险事件制定突发事件应急处理流程，依据其可能造成的危害程序、紧急程度和发展态势，划分预警级别并且建立相应的预警信息发布机制，这是应急准备的重要部分。

2.实施层面

在项目实施中，准备应急预案、制定完善运维操作规程、上线分布式数据库系统及运维管理系统、组织安排运维团队等系统上线前所做的工作都是应急准备工作的一部分。

3.其他

在系统上线后仍有应急准备工作需要处理，包括系统日常运行监控、系统定期巡检、系统运行情况分析、应急预案更新升级、日常数据备份、定期验证备份数据的可用性、定期应急演练，等。此外，金融机构应根据应急演练实际情况完善应急预案及操作规程等合规操作，并进行操作合规性审计。

三、应急演练

数据中心所在地区发生地震、台风，机房火灾、机房长时间停电；一个数据中心中的所有服务器同时故障；服务器硬盘同时故障等事件都属于极低概率事件。这类极低概率事件在几年，甚至分布式数据库对外提供服务的整个生命周期中可能都不会发生一次。但是，应急预案的内容需包括对这类事件的处置应对。应急准备工作在组织层面、实施层面、其他方面包括了处置应对这类极低概率事件的工作。

由于缺少实际事件的检验，一旦发生这类极低概率事件，相关领导、业务人员、技术人员、厂商/合作方人员，处理故障、问题的资源是否就位，处置是否有序、高效，排除故障、解决问题、恢复服务是否迅速及时，整体应急准备工作是否完备，都需要通过定期的应急演练来检验、完善。

分布式数据库涉及的极低概率事件的应急演练，可以纳入灾备切换、信息科技相关等应急演练中一并考虑，统一组织。应急演练工作应在应急准备工作完成后安排实施。组织安排应急演练工作实际上是对应急预案的实施落地。首先要做好组织动员工作，建议成立行领导牵头，相关业务部门、技术部门参与的应急演练小组，协调相关厂商、合作方安排相关人员参与应急演练工作。次之是做好应急演练方案，明确岗位职责，细化演练流程，保障方案可行性。其次是保障支撑应急演练的各项资源就位，包括备品备件、通讯线路等。再次是做好业务合作方、技术产品/服务合作方等的沟通协调工作，提前通知对方本单位的应急演练计划，请合作方做好支持安排。最后是完善应急演练组织的沟通机制，工具。

应急演练应严格按照应急预案，应急演练方案来落实实施。且应制定持续改进的机制和方案，在应急演练完成后，全面总结应急演练过程中的经验和教训，完善应急预案和其他应急准备工作。

四、应急处置

当有系统发生故障或者存在风险时，需要启动应急风险处置预案。风险处置最重要的原则之一是在保障数据安全和操作合规的前提下，采用最短的时间恢复生产，并按照应急预案演练的情况推进其他步骤。如果出现应急预案没有覆盖的风险，应根据风险影响范围进行汇报，同时按照审慎的原则进行处理，比如尽量确保在分析和处置风险的过程中，获得应用开发商和具体系统厂商的参与和支持。在完成问题处置后应梳理处置过程，并将风险及处置情况纳入应急预案中，以防范之后的风险。