数字员工3.0的三大支柱是什么？

技术融合，夯实数字员工智慧基石。

1.算力：异构算力融合，按需开展算力利用和建设

大模型作为数字员工3.0的智力基础，其参数量的激增对算力基础设 施提出更高的要求，大模型全面体系化的建设需要大量资金投入和高技 术门槛，各类型金融机构应结合自身发展制定基础设施发展策略。 一是对于大型机构，建议加快推进新一轮算力规划和布局，开展面 向通用人工智能的大规模算力技术设施规划与建设，根据“绿色低碳、 高效协同、云智融合”的思路统筹规划，构建企业级智算中心。 ·绿色低碳：打造符合国家“双碳战略”的绿色新基建，短期内，考虑到 液冷机房建设周期长，优先采用高密风冷机柜部署风冷AI算力服务器模 式推进建设；中长期来看，目前，AI算力服务器随计算能力增长带来单 机耗电功率快速增长，传统风冷技术难以满足制冷需求，液冷技术因其 更高的热传导性能和更低的能耗成本，成为智算中心散热的必然选择。

高效协同：大模型的训练和推理通常需要多卡甚至多机运行部署，需要 使用高性能AI服务器、RDMA高带宽网络、多级高效存储系统等设施， 组建规模在千级AI算力芯片及以上的算力集群进行大模型训练和推理， 推动算网存高效协同赋能，建设高效的大模型算力集群。 ·云智融合：硬件层面，支持IaaS弹性部署，具备云化资源池化供给能 力，支持CPU、GPU、NPU、MLU等异构AI算力混合部署，形成大规 模异构算力集群，支撑不同场景的AI任务算力需求；软件层面，基于 PaaS容器化能力，通过云化算力调度引擎支持AI算力的池化调度、弹性 伸缩和存储加速等能力，实现AI算力的统一调度，并利用算力虚拟化技 术提升算力利用率；运维层面，形成资源统一纳管、统一监测、统一运 营的标准化流程，支持分租户资源隔离、训练推理集群资源隔离，并建 立故障快速诊断、故障预测预警、断点续训等能力，满足AI算力大规模 集约化应用。

二是对于中小机构，可优先建设推理小集群满足业务应用，并视金 融场景适配情况建设小规模的训练资源满足模型微调需求。这种算力部 署模式相对轻量，面向实际应用需求，优先支持物理机形态或PaaS小集 群模式，灵活部署相关数字员工应用的AI服务能力，快速赋能。同时， 轻量化设计意味着集群可以快速扩缩，可快速适应不同的工作负载和业 务需求。

2.算法：多样智能融合，赋能数字员工生产力跃升

1、传统小模型与大模型并存共进，“选、育、用”三维发力模型能力 建设 金融业务场景复杂多样，涉及多任务、多时效等要求，单一的大模 型虽然知识面广，但难以全面覆盖各类应用需求。大模型和小模型各有 优劣，以生成式AI为主的大模型具有“大而强”的特点，性能强大且有 很好的泛化能力，但在训练部署灵活性、结果可解释性、反应速度方面 尚有提升空间；以判别式AI为主的小模型具有“小而美”的特点，尽管 泛化能力弱，但具有轻量级、高效率、易于部署优化等优点。 因此，在数字员工3.0的构建中，需要充分考虑大小模型的融合，通 过模型选型引进、训练优化、共建应用三个维度，融合“多样智能”， 建设数字员工3.0的全能算法库。

2、“选”：紧跟技术发展，持续引进先进模型 2023年以来，国内外头部科技公司竞相发布大模型，形成“百模大 战”的业态格局。为保持大模型能力的持续领先，银行机构应建立大模 型的持续优化与科学选型机制。 一是建立金融大模型能力测评标准测。从技术能力、应用能力、安 全可信能力等维度，面向通识理解和金融实际应用，建立涵盖世界通 识、金融行业通识、金融专业认知、实际金融应用任务的金融大模型能 力测评标准，做到能力测评有据可依。 二是持续建设完善、丰富的测评数据集。根据业务场景特点，建设 覆盖文本、语音、视觉、图文多模态等模态，包含理解、记忆、仿真、 问答、生成、推理、计算、调控、安全等方面的面向商业银行具体业务 的金融测试集，并建立测评数据集常态化更新机制，支撑模型能力选 型。 三是构建自动高效的模型选型测评流程。通过自动化评测工具，自 动评测大模型，并通过大模型辅助审核方式提升测评效率。

3、“育”：建设多模型能力协同矩阵，持续优化模型效果 通过打造多维度大模型矩阵，形成全面、灵活、高效的模型发展路 径，针对不同场景提供定制化解决方案，提升模型在金融各个细分领域的 表现。以工商银行为例，构建横向多模态/多参数，纵向多层次、大小协 同的金融千亿级大模型算法矩阵，满足不同场景的模型应用需求。

1）纵向多层次模型 一是在通用模型基础上训练行业/企业大模型。行业/企业通用大模型 要求“大而全”，即模型参数规模较大，能力多样，能够满足金融行业通 识知识问答、数据分析、财报分析等涉及海量金融知识、难度较大场景的 需求。训练策略方面，通过引入大量金融领域专业数据和知识，对能力优 秀的基础通用大模型进行针对性二次训练，形成具有深度金融知识理解能 力的行业大模型，并在此基础上融入企业特有的知识数据，训练形成企业 专属大模型。 二是针对企业特定场景，在通用/行业/企业大模型基础上进行垂直领 域或任务模型的构建，扩展模型的专业领域覆盖面和任务处理能力。面向 特定领域或任务，模型能力要求“小而精”，即能够在特定领域和任务上 提供精准、高效的服务，并能满足高并发下的推理性能要求。训练策略方 面，通过模型蒸馏、微调、数据蒸馏等方案，在对客服务、金融市场等特 殊的垂直领域或具体任务，打造专精的垂直领域或任务大模型，保证在专 项任务效果的同时节省算力资源开销。

2）横向多模态多参数模型 针对不同的任务，需要调用不同模态、不同参数的模型满足需求。多 样模型协同的数字员工才能够更好发挥场景价值。一是以多类模型协同实现能力互补，提升整体运行效率。例如，自 然语言处理大模型擅长语言理解与生成，具备问答、文案、编程等多功 能，适用于金融制度/操规问答、营销话术生成、财报分析等金融文本理 解/生成类场景。预测大模型专长结构化数据的聚类、分类、回归，适用 于客户流失预测、资金流预测等决策分析类场景。多模态大模型融合文 本、图像等数据，理解跨模态信息，适用于包含大量电子影像文档的信 贷智能审核、远程银行通话语音质检等场景。

二是根据应用场景需求，选择相应参数规模的大模型。传统小模型 适用于需要强解释性的场景，十亿、百亿级参数满足低时延、低成本推 理需求，适用于知识问答、摘要生成、数据分析等场景。千亿级参数大 模型，能力较强，适用于复杂分析任务，同时可生成合成数据供其他模 型做数据蒸馏增强训练。 银行机构应根据自身情况制定响应的模型能力建设策略。对于数据 充足、场景丰富、技术能力强的大型银行，可参考建设全体系模型能 力。对于中小银行，短期内可采用金融知识库+基础通用大模型融合应用 模式，快速满足知识问答等通用场景应用需求，中长期，随金融业务数 据积累、技术应用能力增强，可考虑针对特定领域进行大模型的二次训 练或微调，进一步适配场景广度和深度。

4、“用”：降低模型使用门槛，打造协同生态 随着大模型技术逐步成熟，大模型逐渐进入规模化应用阶段。为让 大模型能够更好地适配场景需求，应从模型推荐、高效研发、易学易会 等方面降低使用门槛，打造协同生态。 一是按场景进行模型的适配和推荐。在已建成大模型矩阵的基础 上，建设模型调控引擎，根据各场景的不同需求，推荐合适的大模型。 同时，提供包括OCR、语音、知识检索、文档生成、数字人等不同AI能 力的沉浸式体验，从拟人化组合成人的视角，促进应用。

二是建设开放的高效微调流水线。面向差异化场景，应用推广中逐 步开放大模型微调能力，综合考虑算力消耗和场景价值，建议优先利用LoRA等高效微调技术构建支持文本、图文多模态等大模型建模流水线， 加强对特定场景的模型适配能力，降低建模资源整体消耗。同时构建高 效的推理方案，实现同一基座大模型挂载多个LoRA模型的高效推理，支 撑长尾场景高效推理。值得一提的是，LoRA是一种高效的微调方法，它 通过在预训练的大模型中引入少量的低秩网络层来实现。这些额外的层 具有远小于原始模型参数量的参数，允许模型在保持大部分预训练权重 固定的同时，通过训练这些新增的参数来适应特定领域的数据。通过该 模式，LoRA可以将需要训练的参数数量减少到原模型的千分之几，大幅 度减少所需的计算资源和内存占用，使得对大模型的微调变得更加可行 和经济。

三是构建易学易会的大模型知识体系。围绕模型接入、提示词优 化、模型选择、模型微调、模型上线等常见问题构建完整的知识体系， 并搭建自动化的选择和问答工具，降低大模型使用门槛。

3.数据：全模数据融合，激活数字员工认知核心

商业银行数据呈现形态多模化、质量多维化、内容多元化、来源多 样化等特点。为夯实人工智能的数据基础，一是建立企业级金融数据知 识体系，对内丰富模型训练数据，对外建立金融专项知识库，内外协 同，提升数据的可获得性和利用性。二是建立智能化的非结构化数据治 理能力，在结构化数据治理的基础上，进一步盘活海量非结构化数据资 产。

 1、“5+1”架构数据知识体系，增强数据的可获得性和利用性 为更好积累沉淀高质量、多维度、海量的金融数据，各银行机构可 从“基础-行业-企业-领域-任务”五层模型体系及外挂知识库增强诉 求入手，配套建立“5+1”金融大模型知识工程体系，提供各类知识分 层管理、新旧迭代、内容可信监测等能力，确保数据的多样性、通用性 和准确性。 一是建立世界-行业-企业-领域-任务五层知识架构，灵活纳管全 领域、全模态金融数据。同时，分层训练对应类型的大模型，通过二次 训练+微调实现金融知识高效继承复用，增强各类模型的金融认知能 力。其中，世界层，集成全球资讯、百科等通用知识，提供宏观视角；行业层，专注金融行业数据，如监管政策、企业财报、投研分析等，提 供行业视角认知；企业层，细化至银行内公共数据，包括资讯、公文、 业务知识，提供企业视角统一认知；领域层，针对金融具体专业业务领 域沉淀专业知识，其中，建议针对对客服务知识进行统一归口建设，避 免二义性；任务层，针对具体金融任务，沉淀场景定制化知识数据。

二是实时更新的外挂知识库，为大模型提供知识“外脑”。外挂知 识库通过实时数据流和自动化更新，保持信息时效性，结合细粒度访问 控制和安全措施，确保数据安全。利用检索增强生成RAG技术（Retrieval-augmented Generation）将大模型与语义检索以及向量数据 库结合，满足内容精细化检索的需求。同时，通过Graph RAG进一步 提升对文本语料库的全局理解，实现基于知识图谱的检索增强。

2、4种智能化数据治理能力， 盘活非结构化数据资产 结合工商银行大模型数据工程实践，本文建立利用AI4Data技术从 数据“采集、清洗、管理、应用”四方面提升非结构化数据处理生产效 率，盘活非结构化数据资产。

一是夯实数据采集之“基”，打破数据孤岛。对内，通过建立企业级 数据中台方式，形成统一集中纳管的数据资产。对外，通过开源加联创、 专项采购等方式，持续丰富通用的互联网新闻、书籍等外部数据。内外结 合，建立数据的全面采集机制，为金融大模型的构建引来源头活水。同 时，利用合成训练数据技术，为填补数据缺陷提供创新路径。银行机构可 以探索利用生成式AI技术合成训练数据，重点强化对合成数据的生成技 术、质量评价能力和效率。合成数据可以作为现有文本数据集的有效补 充，全面提升智能金融应用的效果。

二是持续提升数据处理清洗之“器”，降低数据处理门槛，提升质 效。建议通过建立专家清洗规则库+多种智能清洗模型方式，解决异常值 等常见数据质量问题，并满足内容矫正补齐等复杂数据清楚处理诉求。同 时，考虑到大模型的金融微调数据人工投入大、标注难度大等痛点，建立 基于大模型的AIGC辅助标注能力，智能生成文章、观点、逻辑链等复杂 标注数据，辅助人工提升效率。通过AI提升数据清洗能力，有效消除数据 冗余、清除数据偏见，确保数据的质量和准确性，并通过工具支撑，持续 扩充金融专属数据集，以便完成企业内专有模型训练。

三是加强训练数据的高质量管理之“术”，守牢大模型数据合规安 全。重点增强知识冲突检测能力建设，可训练智能专项模型提供知识相似 度、矛盾等监测能力，并制定知识质检标准，建立业务+科技双审核机 制，提供各类知识新旧迭代、内容可信监测等管理能力，避免知识重复、 冲突。同时，重点加强大模型数据安全管控，在数据安全管控过程中，优 先保障社会主义核心价值观、金融从业要求、企业文化，通过敏感词检 测、非法数据过滤、安全测评、人工审核等处理安全手段，提升数据质量 和安全可控能力。

四是建立数据应用的运营之“道”，实现大模型的数据闭环。训练阶 段，通过十亿模型数据最佳配比，推断百亿、千亿大模型的数据智能配比 推荐，解决百亿、千亿大模型多样化数据配比难度大的痛点，提升性能。 应用阶段，建立以业务场景为单位，大模型迭代为目标，通过规范运营埋 点数据、建立运营团队、持续分析bad case、优化模型等方式，确保大 模型应用的数据运营闭环，推动大模型持续优化。