金融机构选择或部署大模型需要哪些能力要素？

金融机构在落地大模型的过程中，需要综合考虑数据价值链管理、模 型的选择与部署、AI平台搭建、以及AI治理等要素。

1.数据价值链管理：提升数据可用性和数据质量

金融机构的数据价值链管理是生成式AI在金融场景中有效发挥价值的基石，其核 心目的是提升数据质量、数据可用性以及确保数据的合规获取，有利于金融机构 面向不同的应用场景快速构建高质量的数据集，并为后续金融大模型的规模应用 奠定坚实的基础。目前市场中已存在通过构建多模数据管理平台DMS或是通过数 据管理全流程解决方案，以更好地满足大模型时代的用数需求。 生成式AI数据价值链负责监督基础模型、微调模型/金融行业模型使用的训练数据 的获取、生成、处理和管理，以确保全面、多样化和高质量的训练数据的可用 性。同时，生成式AI数据价值链管理能够显著提升模型输出的准确性和安全性。 通常，数据价值链往往包括：数据采集、数据存储、数据标注、数据精益、训练 数据生成、数据验证、数据保护、数据监控、数据管理、数据分析等。

2.模型层面：模型的选择与部署的考虑因素

在模型选择方面，往往涉及如下问题，例如是否选择开源模型、选择何种开源模 型、选择何种模型开发及模型优化方式、如何部署模型等，金融机构可以根据业 务需求、任务类型、数据量级、以及业务场景的技术投入和其对安全合规等因素 去选择合适的模型。尤其是需要评估大型模型开发与金融业务场景之间的匹配 度，了解模型在实际场景中的应用方式及应用价值，确保其符合业务需求。

3.AI平台：从模型管理到应用搭建的一站式开发与服务平台

由于金融行业大模型应用场景丰富，随着大模型与证券、保险、银行业务的融 合，将迸发出大量的GenAI应用开发需求，亟需AI平台来提高模型构建及编排效 率、应用开发部署效率。根据IDC调研数据显示，大多数金融机构受访 者表示，他们已经选择或正在评估使用GenAI平台来帮助其开发、运营和管理 GenAI模型及应用。

领先的云供应商应在其AI平台中添加多种模型，以满足客户对数据集、参数和开 放的各种需求。在算法模型库的建设方面，组织需要将开源的算法，自研的算法 等都统一管理。在模型训练方面，搭建基于CPU和GPU的分布式训练框架。在模 型推理方面，统一实现离线批量预测和在线预测的功能，包含推理加速、资源管理等。基于这些基础组件的能力，搭建一站式AI开发工作流，从特征筛选到特征 处理、样本构建、模型训练调试评估、模型的部署和实验，再到后期模型的运维 监控，贯穿算法开发的整个流程。IDC认为，未来生成式AI开发平台将向更普惠 的MaaS演进，并加速生成式AI应用的落地。

因此，搭建一套大模型工具链（包括提示词管理、多种 PEFT 微调方法的集成以 及一键式RLHF训练工具）以实现面向不同的应用场景实现模型优化，也是十分 必要的。这些工具包含大模型优化及应用扩展能力，使大模型能够更有针对性地 服务特定应用。例如，某证券与投资公司，在推进大模型落地中所推出的AI开放 平台包含模型开发、模型调优、推理加速等能力，目前可面向客户提供短视频生 成、文章生成、数字虚拟人、智能金融问答、智能语音、智能客服机器人、智能 质检机器人、会议转写系统、智能医疗辅助系统等多项AI产品及服务。

同时，为了提高模型在具体业务场景中的推理准确性及安全性，推理时始终需要 高质量、最新的数据，以提高模型返回内容的准确性和相关性。而且，在推理过 程中，所使用的信息流也存在暴露敏感信息（个人或公司）的可能，金融机构可 通过AI插件来监控模型推理过程中的数据泄露问题。 此外，为了更有效的推进大模型在金融业务场景中的应用，金融机构也可以自建 或通过与外部厂商合作，提供面向场景共享复用、开箱即用的组件或能力，以及 模型运行管理服务（例如模型更新和监测等），从而加速金融机构的GenAI应 用。根据IDC调研数据显示，大多数金融机构受访者表示，预计在未 来12个月内将使用模型运行管理服务（例如模型更新和监测等）来推动大模型的 应用落地。

例如工商银行就通过打造适配金融行业的“1+X”工程化解决方案，其中“1”是 指智能中枢平台，通过智能中枢的任务感知、决策、执行、反馈等能力实现金融 复杂场景的应用；沉淀“X”可共享复用的范式能力，包含多模态知识检索、对 话式数据分析、智能化文档编写、交互式智能搜索、陪伴式智能研发等多项金融 即插即用的零代码工程化解决方案，以高效赋能于金融业务。 同时，金融机构在选择外部服务商搭建GenAI平台时，可以提供丰富的开箱即用 的能力以支撑多样场景的落地，GenAI平台的可扩展性、安全性，以及在金融行 业的大规模生成式AI落地经验是其最看重的三项能力。目前，中电金信也帮助多 家金融机构开发了GenAI平台，例如其向某机构构建了企业级人工智能研发平台 和研发体系，通过沉淀AI原生应用的研发规范，打造AI场景应用的标杆，并建设 基于大模型的服务管理平台，在已有数据中台基础之上集成公文文档和外部情报 数据，开发了信息情报工作站、智能公文写作两个场景应用；在另一个典型案例 中，帮助某头部城商行构建了人工智能融合中台，通过建设大模型平台，实现底 层资源统一池化管理、提供一站式的数据工程、模型训练调优、大模型评估、推 理加速和提示词工程等工具链能力，有效支撑了全行的大模型应用开发。

4.AI治理：构建大模型在金融场景稳定且安全的应用保障

组织需要采用360度治理视图，包括数据、人员、AI和使用案例。其主要包括模 型治理、风险治理、以及满足负责任的AI的要求。 在模型治理方面，其需要解决模型幻觉、模型偏见以及模型的审计跟踪及其可解 释性等问题。例如，可以通过增加数据多样性和规模、改进模型结构、建立反馈 机制等措施来应对模型幻觉；通过数据清洗和预处理、多样化数据集、公平性评 估等措施来应对模型偏见；通过记录模型训练过程、模型版本控制、输出日志记 录等措施来加强审计跟踪；通过使用基于prompting 范式的模型解释、基于分类 器进行探测等模型解释工具、以及可视化技术等方法来提高模型的可解释性。

在负责任的AI方面，IDC将负责任的人工智能（RAI）定义为以恪守严谨安全的监 管要求、遵循公平透明的行业规则、维护用户为先的价值取向的方式进行大模型 和GenAI的设计、开发和部署。金融机构在推进大模型落地中，秉承负责任的AI 原则，有助于确保所有操作符合法律法规，减少违规风险和潜在的法律诉讼，并 辅助实现维护金融系统稳定的社会价值。金融机构在推进负责任的AI方面，一方 面，在开发AI时注重公平性，避免偏见确保AI系统具有透明性，决策可以被解 释，另一方面，在AI系统造成伤害发生时，也应有相应的纳入问责和补偿机制。 在大模型应用链条中的风险治理方面，在大模型的应用前先分析预判可能存在的 各项风险，金融机构可以将AI模型风险纳入整体风险管理框架，并建立专门的AI 监管报送平台、流程和规范，集成多源数据，包括模型训练数据、运行数据、监 控数据等，实现数据的统一管理和分析，同时可以根据业务需求，将平台划分为 不同的功能模块，如数据采集模块、风险识别模块、报告生成模块等，实现灵活 配置和扩展，及时披露模型决策机理、运行逻辑和潜在风险。

此外，金融机构也可以选择合适的技术服务商，通过生态伙伴之间的能力协同，从 而加速GenAI加速嵌入金融业务场景。例如，通过与技术服务商（如ISV）合作， 加速构建GenAI应用,并通过相关的咨询服务、模型建设及调优、应用二次开发、运营管理和培训服务等一系列服务，以帮助金融机构更好地利用AI技术，让AI更好地 在金融场景中见效。根据IDC调研结果显示，金融机构在面向大模型落地 选择技术服务商时，最看重的前三项能力是数据主权和合规体系的构建、金融安全 解决方案优势、以及服务产品和功能（如：大数据分析和数据治理等）。

尤其是在数据主权和合规体系建设方面，由于在金融领域，数据的敏感性极高， 直接关系到客户隐私、商业机密乃至国家安全。因此，金融机构必须确保对其数 据拥有绝对的控制权，即数据主权。技术服务商需能够提供完善的数据管理机 制，确保数据在采集、存储、处理、传输等各个环节中都能被金融机构有效掌 控。此外，随着全球范围内数据保护法规的不断加强（如GDPR、中国《网络安全 法》及《个人信息保护法》等），金融机构在选择技术服务商时，会重点考察其 是否具备构建和维护符合国内外法律法规要求的合规体系的能力。这包括数据加 密、匿名化处理、访问控制、审计追踪等措施，以及及时响应监管要求的能力。