算力网络数据库关键技术有哪些？

面向算力网络的数据库，不仅是对现有云数据库的一种超越，更是在架构、技术上的一次全面升级、深度演进与大胆创新。

一、云原生统一平台底座

对数据库进行统一抽象和封装，打造通用管控能力，形成统一的算力网络数据库管控底座，支持各类云形态以及算力网络基础设施，包括多云和混合云场景，高效且低成本地管理数据库集群。数据库平台底座是算力网络数据库基础，以数据库统一管控、算网大脑统一调度为目标，融入算力网络整体架构中。

1. 容器技术 云原生数据库的统一平台底座基于容器化和Kubernetes(简称K8s)构建。容器化技术将应用程序及其依赖打包到一个独立的容器中，包括应用程序代码、运行时环境、系统工具和库等。运行容器不需要启动一套完整的操作系统，是更加轻量级的应用间隔离方案，启动速度更快，额外资源占用更少。容器中包含了应用程序运行所需的所有依赖，因此可以确保应用程序在不同环境下的一致性和可移植性。Kubernetes(简称 K8s)是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。经过多年的发展，和业界大规模的部署实践，K8s 已经成为事实上的容器编排平台标准，并支持多种容器运行时。K8s 集群由一个或多个主节点和工作节点组成。主节点负责管理集群的状态，包括调度、API 服务等。工作节点运行容器化的应用程序，并与主节点通信。

2. 算网数据库统一管控 部署模式遵循 Service on Service 理念，统一基于通用POD的裸金属、云主机的 Serverless K8s 构建云数据库产品，实现云数据库的资源供给和叠加部署模式。部署形态上覆盖公有云、全栈专属云、边缘云等各种算力网络资源，功能上涵盖各个数据库系统的通用管控能力，包括生命周期管理、高可用、备份恢复、参数管理、监控告警、日志管理、账号管理、库表管理等。支持跨云调度和管理，可在多云或混合云环境中灵活部署，实现跨多个云平台的统一管理和监控，简化多云环境下的运维复杂度，避免对单一云服务提供商的依赖，提升系统灵活性和可靠性。 此处提出一种结合算力网络的分布式数据库集群管理模型，不同的分布式数据库可以基于标准化的模型进行适配和实现，暴露一致的、能力对齐的管理和操作接口。通过标准体系的集成和适配，不同的分布式数据库厂商和工具厂商可以形成一个互通的生态系统。这种生态 17 系统的建立有助于知识共享、技术创新和用户体验的提升，算力网络的引入进一步增强了这个生态系统的智能化和高效性。

该模型分为四个层次：Cluster、Component、InstanceSet和Instance。每个层次都有明确的功能和职责边界，形成了一种清晰的分层设计。这种设计在引入算力网络的基础上，进一步优化了分布式数据库的管理和资源调度能力。  Cluster 层：代表整个数据库集群，负责集群的整体管理与协调。通过算力网络，Cluster 层可以实时感知各节点的算力状态，动态调整计算任务的分配和资源调度。  Component 层：代表集群中的一个功能组件，如主数据库、从数据库、代理节点等，负责组件级别的管理。算力网络使得Component层能够依据算力状态进行智能化的资源配置和负载均衡。 InstanceSet 层：代表某个组件的多个副本实例，支持副本角色管理、配置和资源差异化管理、健康检测、升级控制等功能。算力网络的引入使 InstanceSet 层能够感知各副本的算力状况，并根据实际需求动态调整角色和资源分配。  Instance 层：代表单个数据库副本实例，与Kubernetes资源（如 Pod、PVC、Service、ConfigMap）进行映射，支持资源动态调整和多网络地址配置。通过算力网络，Instance 层能够实时调整资源配置，确保每个实例在最佳算力状态下运行。

二、跨域分布式编排

随着业务的发展和集群规模的增长, 单一地域基础设内的数据库实例调度无法满足海量数据处理、超大规模数据库集群管理、业务及时响应和成本控制等多方面的需求。 算力网络构建跨地域（Regionless）一体化编排能力，全面接入数据库内核引擎，综合各节点的计算能力、负载情况、网络带宽等多要素进行数据库实例分布式云资源管理与调度，支持多种抽象算力接入，如边缘算力、异构算力、多云算力；实现低成本的跨地域容灾，支持地理位置无感的算力与网络调度，同时提升资源利用率和服务性能。

跨域分布式编排调度需要处理的关键挑战包括网络延迟、分区容错、任务依赖和优先级管理、资源分配和负载均衡以及故障检测和恢复，包括以下核心能力: 1. 资源管理器（Resource Manager）：资源管理器负责监控和管理集群中的资源，包括计算资源、存储资源和网络资源等。它需要与调度器紧密协作，确保任务能够获得所需的资源。算力网络提供的地域无感知能力，可以让资源管理器低延时感知全网资源使用和资源的变更。在大规模集群的情况下，集群资源的状态信息和更新需要一个分布式的去中心化的方案配乐观并发锁来协调冲突，提高并发度。2. 调度器（Scheduler）：调度器是分布式调度系统的核心，负责接收任务请求并根据预设的调度策略或者智能决策算法，将数据库实例分配到合适的节点。它需要考虑任务的优先级、依赖关系、执行节点的负载情况，资源可用性，负载之间的干扰，以及对业务的响 19 应延迟等因素。

3. 执行器（Executor）：执行器是任务的实际运行环境，它接收来自调度器的任务指令并执行具体的任务逻辑。执行器需要能够处理任务执行过程中的各种异常，并能够将任务状态和结果反馈给调度器。 4. 任务队列（Task Queue）：任务队列用于存储待执行的任务，调度器从任务队列中取出任务进行调度。任务队列需要能够处理高并发的任务请求，并保证任务的顺序和一致性。5. 容错和故障恢复机制：在分布式环境中，节点故障是常态，因此调度系统需要具备容错能力，能够在节点故障时自动将任务重新分配给其他节点执行，保证任务的可靠性和高可用性。6. 智能决策算法：利用机器学习、深度学习等算法，系统能够对收集到的数据，例如节点的资源利用率，调度的约束(例如亲和性反亲和性、对其他负载的依赖)，历史负载信息都能进行智能分析，生成最优的调度方案。

7. 持续优化算法：系统根据智能决策算法生成的方案，自动将任务分配给最合适的资源，并持续优化以提高效率。随着资源的变更和业务的调整，需要根据优化目标，对现有调度结果进行优化。8. 自动扩展: 根据调度算法的结果，按需对基础设施发起水平方向和垂直方向两个维度的自动扩展。横向扩展主要是自动添加节点，垂直扩展是指扩展节点资源。 9. 确保通信安全: 编排调度系统涉及多云混合云的信息交互， 20 需要确保服务之间的通信安全。算力感知网络可以通过跨基础设施的资源情况，同时也提供了跨基础设施的网络层信息安全。基于算力感知网络的分布式编排调度系统，使其能在大规模、高并发的分布式环境中高效、稳定地运行，能在复杂的多云混合云环境中提供高效、可靠的服务管理。

三、数据库内核云原生化

在算力网络数据库的架构中，数据库内核云原生化是一个关键特征，它通过存算分离，实现“四元解耦”和资源池化，极大地提升了数据库的可扩展性、高可用性和灵活性。这一创新设计将传统数据库架构中的核心元素——计算、内存、日志、存储（外存）——进行了深度解耦，使得各个组件能够独立扩展和管理，从而更好地适应云环境的动态变化。 1. 计算层 计算层负责处理用户请求（即执行 SQL、事务处理等）核心计算任务。计算层与下层资源解耦，可根据业务需求动态调整计算资源，支持秒级扩展与回收。 2. 内存层 内存层负责存储数据库操作中的临时数据和缓存数据，提升数据处理速度。内存层实现内存池化，通过分布式内存服务（DMS）支持主备节点间的实时内存页面交换，确保数据一致性和高可用性。

3. 日志层 日志层负责记录数据库操作的日志信息，用于恢复、复制等目的。日志层独立于计算和存储层，确保日志数据的可靠性和完整性，支持高效的事务处理和恢复机制。 4. 存储层 存储层也即外存层，持久化存储数据库数据，包括用户数据、系统数据等。可通过分布式存储服务（DSS）实现存储池化，支持主备节点共享同一份存储资源，减少存储容量需求，同时提高数据读取效率和一致性。 存算分离架构可以实现更高的资源利用率和灵活性，但用户原有存算一体架构在迁移时需要进行数据库改造。为了减少用户在云原生化过程中的数据迁移和改造工作，设计一种在存算分离基础上的融合架构，自适应用户负载，进一步实现数据共享与非共享访问模式的无感切换，无缝兼容存算一体架构，实现一套代码同时支持中小微客户需求。

四、智能融合数据处理

实现一种多数据处理引擎融合方案，一套架构应对大中小微不同数据负载需求的用户场景，是算力网络数据库“无需关注业务负载”理念的核心和基础。从集中式分布式融合、事务型分析型融合，以及AI 的能力融合，逐步打造超融合数据库形态，并通过统一的接口实现数据的整合、查询、分析和优化。 集中式与分布式融合，兼顾了高性能和高可用性、可扩展性能更好地适应不同工作负载场景的需求。采用shared-storage/sharedeverything 架构与 shared-nothing 相结合，支持跨分区的数据分片的分布式处理能力，引入弹性并行计算技术，满足复杂查询的线性扩展性要求，实现资源的最优利用和系统的稳定运行，提升整体能效。事务处理和计算分析融合，一套引擎同时支持OLTP 和OLAP负载，省去离线数仓从业务系统采集数据的时间，实现近T+0 的数据分析能力，无需单独建设实时数仓，降低系统复杂性和维护成本。T+0的分布式 HTAP 技术提供一站式事务处理和数据分析能力，进一步实现用户层面实现统一入口，HTAP 数据库融合。

随着近年 AI 技术迅猛发展，对数据库架构的灵活性和可操作性能提出了更高的要求。一方面需要支持数据来源多样、数据量大、格式不一的结构化、非结构化及半结构化数据的多模态数据。另一方面，不同业务需求催生不同的数据模型数据库。存储引擎需要支持关系、键值、文档、向量、时序、图模型等统一存储，仅存一份数据，结合不同索引类型实现不同模型数据混合存储的目标，有效避免存储冗余、兼容性、数据一致性、数据同步延迟问题等，同时降低用户的学习、 23 开发、移植、运维成本。计算引擎中采用混合查询优化技术，在单一命令访问多模数据库，生成最优执行计划，提高访问性能；采用多级自适应并行计算技术，充分利用系统资源提升性能，避免单一复杂任务占据全部资源影响其他任务的执行；采用多级数据缓存技术，降低数据库服务器负载，提升业务综合性能。针对计算密集型业务，可采用 GPU 融合计算技术，提升包括图计算、向量计算和分析型业务的性能。基于分布式原生多模存储-计算引擎的算力网络数据库为包括AI应用在内的各种主流业务系统提供多引擎融合数据处理。