昇腾金融行业AI发展现状如何？

构筑 AI 集群协同系统，支持推理应用广泛落地。

1.昇腾加速金融行业智能化

根据《2023 中国金融科技企业首席洞察报告》，92% 的中国金融科技企业看好 AI 大模型金融应用前景，27% 的受访企业已有技术 和产品布局，77% 的受访企业认为 AI 大模型可以优化业务创新、内容生产，深度融入金融机构日常运营，68% 的受访企业认为 AI 大模型 能通过人机交互、提升虚拟场景的温度服务等方式升级用户体验。头部金融机构将 AI 作为未来科技创新的重点方向，带来庞大算力需求， 自建集群打造多维应用，聚焦降本增效，在智能风控、智能营销、智能投研、办公助手、智能客服、智慧运营方面均有广泛应用。

构筑金融 AI 集群协同系统，加速孵化金融行业通用大模型

因此，随着人工智能进入大模型时代，大算力正在成为人工智能发展的核心引擎。昇腾充分发挥华为在计算、存储、网络、能源的综 合优势，改变传统的服务器堆叠模式，以系统架构创新，打造 AI 集群，实现了算力、运力、存力的一体化设计，突破大算力瓶颈，为金 融行业大模型训练构筑了坚实的算力底座。

推理算力需求爆发式增长，金融行业积极部署 AI 推理应用

同时，在 AI 加速融入到金融行业的背景下，从聊天类应用、智慧办公类再到文生图应用，推理算力需求呈现爆发式增长，预计 25 或 26 年国内外推理 AI 设备发货量将超越训练 AI 设备。多模型与全模态技术的深度融合与成熟，这不仅催化了推理原生应用的蓬勃发展，还 推动了从基础的感知与理解层面向更高级的执行与决策层面的跨越。在面向消费者的应用中，传统的图文信息处理正逐渐被全模态交互所 取代。这种转变不仅仅是媒介形式的升级，更是用户体验的根本性革新。全模态技术整合视觉、听觉乃至触觉等多种感官输入，使得机器 能够更加精准地理解和响应用户的多元化需求。这一跨越直接催生了对端侧算力的巨大需求，同时，后端数据中心的算力也在经历百倍增 长，为处理和分析海量全模态数据提供了坚实的基础。

为更好地匹配大模型的巨大推理需求，基于昇腾 AI 基础软硬件，昇腾向业界提供使能推理应用快速开发、高效部署的大模型推理解 决方案。该解决方案通过启发式并行解码等系列化推理加速技术，在满足业务服务水平的同时，释放极致吞吐性能，让单位吞吐的成本更优。 同时，既提供昇腾原生服务化能力，也支持对 vLLM、TGI 等三方推理框架的快速适配，实现应用天级上线。在满足模型表现的同时，通 过极简服务适配，让业务上线时间更短。除此之外，为多机推理提供了完整的弹性推理软件栈，在满足 TCO（Total Cost of Ownership， 服务器总拥有成本）要求的同时，支持灵活弹性扩容，让推理系统面向大模型未来趋势具备更强的演进能力。以此，帮助伙伴和客户打造 更贴合场景需求的推理系统。目前昇腾携手业界伙伴和客户不断创新，已经加速大模型应用落地到“文本生成、文生视图、辅助编程、终 端应用、智能办公 / 客服”等五大场景。

昇腾 AI 已在金融头部机构有大量实践，助力客户快速上线 AI 原生应用

昇腾 AI 经过 5 年快速发展，已经打下中国 AI 算力第二平面的坚实基础。在金融行业充分发掘客户个性化需求与潜在价值，发挥华为 算/网/存/云/管跨域协同经验，构筑金融端到端AI集群协同系统，支持金融行业推理应用广泛落地，助力金融机构业务智能化和业务创新。 例如，昇腾助力工商银行打造千亿级金融行业大模型，覆盖 11 类业务应用场景，加速生产场景智能化，实现智慧网点、智能客服、 数据分析及信贷助手等 AI 应用上线；联合交通银行创建联创实验室，孵化“交心”大模型，打造 AI 新名片，以数智新金融践行“金融为民”； 帮助招商银行落地端到端自主创新的大模型训练及推理集群，打造适应大模型技术的自主创新“AI 云”，满足千亿级参数模型的训练、推 理等需求，实现手机银行智能财富助理“小招”上线，支撑“智慧招行”发展；基于 MindIE 推理引擎助力北京银行快速上线“京智大脑”， 已建设问答、授信、客服、办公、开发五大助手，提升行内运营质效；基于昇腾 AI 算力底座与基础软件栈助力招商证券从机器学习平台 升级到大模型管理平台，实现大模型的训练、推理、纳管及监控。

2.昇腾大模型解决方案：从可用走向好用，让 AI 发展有速度

自 2019 年发布计算战略以来，昇腾围绕“硬件开放、软件开源、使能伙伴和发展人才”持续迭代，面向生态伙伴提供更好用、更易 用的开发平台和系列化的工具链，不断升级昇腾 AI 基础软硬平台，满足大模型时代的大规模训练及推理需求。 昇腾 AI 基础软硬件平台包含 Atlas 系列硬件及伙伴硬件、异构计算架构 CANN、全场景 AI 框架昇思 MindSpore、昇腾应用使能 MindX、全流程开发工具链 MindStudio 、集群自智引擎 CCAE、应用使能套件 openMind 和一站式 AI 开发平台 ModelArts 等，帮助伙伴 和开发者高效使用 AI 能力，创新场景化 AI 应用，加速千行百业智能升级。其中的昇腾应用使能 MindX 针对大模型的分布式训练及高效推 理部署需求，新增了分布式训练加速套件 MindSpeed 及昇腾推理引擎 MindIE。同时基于昇腾 AI 基础软硬件平台，昇腾推出了更适合大模 型的训练、推理解决方案，易用性和性能全面提升。

昇腾训练解决方案

面向 AI 模型训练场景，昇腾训练解决方案包含 Atlas 及伙伴训练硬件、异构计算架构 CANN 以及基于 CANN 打造的计算、通信、I/O 基础加速库、AI 框架（昇思、tensorfl ow、pytorch）以及基于 AI 框架打造的 SOTA 模型、大模型加速以及科学智能套件、MindX DL、以 及端到端的训练工具链。面向大模型训练，昇腾训练解决方案实现以下客户价值：

模型训练性能高：通过分布式训练加速套件 MindSpeed 提供丰富的大模型分布式并行算法及并行策略，在计算、通信以及内存等方 面深度优化，提高计算效率：在计算优化上，异构计算架构 CANN 提供了 80+ 大模型融合算子，结合昇腾硬件特点协同优化，支持 整网性能提升30%；在通信优化上，我们提供了通信与计算融合技术，通过对分布式计算中 all-gather通信以及矩阵计算的细粒度切分， 实现通信与计算的并行；同时，发挥算网协同优势，通过拓扑感知、流量感知算法，最大化利用通信通道，将通信效率提升 15%，整 网性能提升 10% 以上；在内存优化上，通过参数副本压缩、选择性重计算、自适应内存 Swap 等技术，实现 35% 以上的内存节省， 在有效训练时长里获得最大的计算能力。

集群稳定性高：为了保障大规模集群稳定性，我们提供了 CCAE 自智引擎，让集群管理从“单域”走向“集中”：通过算网存全域协同， 在训练前，提供健康状态监控和预防性维护能力，确保训练启动时处于最佳状态；在训练中，支持300+典型故障的实时自动检测和隔离， 确保早发现，早处理；故障发生后，通过分布式缓存加速、集合通信快速建链，将超大规模集群故障发生后的任务恢复时间从小时级 降到了分钟级，长稳训练时间从周级提升到月级。

使能原生开发：提供了 SOTA 模型、大模型加速、科学智能等开发套件，加速创新孵化。经过大模型开发上的丰富积累，千亿参数的 稠密大模型开发周期已实现从最初的 8 个月缩短到现在的 3 个月。同时，2023 年 5 月发布的 Ascend C 昇腾算子编程语言，简化了算 子开发逻辑，支持混合编程编译，提供丰富高低层 API，典型大算子开发周期从 2 人月降低到 1.5 人周，大幅提升大模型创新效率。

昇腾推理解决方案

面向 AI 模型推理场景，昇腾推理解决方案包含 Atlas 及伙伴推理硬件、异构计算架构 CANN、昇腾推理引擎 MindIE、行业应用开发 套件 MindX SDK，边缘部署使能 MindX Edge 等。面向大模型推理，包含大语言模型（LLM）和文生图推理（例如 Stable Diff usion），昇 腾推理解决方案实现以下客户价值： 分层开放，提供系列化硬件：满足性能与灵活的多种业务需求，无论追求极致性能或者追求快速开发，都能提供对应的能力；系列 硬件产品可以满足全场景推理应用部署需求，支持从小模型到万亿参数大模型的推理部署需求，包括大语言模型（LLM）文本生成、 文生视图，以及小模型视图解析、搜索推荐等使用场景。

模型推理性能高，精度损失低：大模型推理参数大，对算力、内存等计算资源消耗大，推理过程成本高。针对这些问题，我们提供量化、 稀疏等压缩能力，减少资源消耗，提升模型推理性能，从而降低单位吞吐输出的成本。比如，在量化压缩过程通常会引入模型精度下降， 在完成量化的同时尽量保持精度非常重要，昇腾支持量化后精度损失 <0.3%。 时延低，吞吐高，推理成本低：为了兼顾推理的时延和吞吐，既要满足最终用户的使用体验，又要满足推理的系统成本。昇腾推理 基础软件提供系统性联合优化来降低时延，提升吞吐效率，在满足时延条件下，最大实现 6x 吞吐提升，大大降低了每百万 tokens 的推理成本。

3.昇腾 AI 产业生态体系：从场景探索走向千行百业，让 AI 应用有规模

昇腾 AI 产业是以昇腾 AI 基础软硬件平台为基础，坚持“硬件开放、软件开源、使能伙伴、发展人才”，联合技术和商业伙伴，打造“共建、 共享、共赢”的人工智能产业，致力于让 AI“用得起、用得好、用得放心”，以人工智能赋能社会发展与产业升级，为人类社会发展带来价值。 昇腾致力于为伙伴提供好用易用的基础软硬件，共建中国大模型繁荣生态，大模型技术与金融领域结合已成为推动产业创新的重要力量。

在模型层面上：昇腾 AI 与产业界共同构建了从规划、开发到产业化的大模型全流程使能体系，共筑中国大模型生态，目前已孵化 20 多个原生大模型以及 50 多个大模型应用，并与科大讯飞、智谱华章、面壁智能、中科院自动化所、云从、以萨、医渡科技、达观数据、 云天励飞共 9 家伙伴发布了大模型训推一体机，为行业提供更加丰富的选择。 在框架层面上：华为于 2020 年 3 月 28 日开源全场景 AI 框架昇思 MindSpore，开源后获得国内外开发者的积极响应，访问量数 千万，超过 790 万用户下载安装使用，在码云千万开源项目中综合排名第一，服务企业数量超过 5500 家，合作高校 360 所（其中 教学合作 290+），社区核心贡献者超过 3.5 万。同时，MindSpore 社区开源 500 多个模型，支持伙伴孵化、适配 50+ 大模型。基于 昇思框架发表的顶级会议论文数量累计超过 1500 篇，在所有 AI 框架中排名中国第一，全球第二，昇思也成为国内最具创新活力的 AI 开源社区。 在伙伴层面上：截止 2024 年 7 月，昇腾发展了 60+ 硬件合作伙伴，包括 14 家整机合作伙伴和 50+APN（Ascend Partner Network）伙伴，300 万 + 开发者，1600+ 行业合作伙伴，共同孵化了超过 2900 个解决方案。

其中在金融领域，昇腾携手大模型及应用伙伴推出了系列行业解决方案：联合科大讯飞股份有限公司推出星火智能客服解决方案， 在文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力和多模态能力七大核心能力上实现显著提升，实现更加精准的理解、 更有温度的交互，以及更加高效的运营；联合北京智谱华章科技有限公司推出 GLM 金融大模型解决方案，基于 ChatGLM-130B 通用语 言大模型，实现 128K 长文本能力，为金融机构提供本地化部署的一体化解决方案，可实现用户开箱即用，节省模型部署时间，提升模 型运行效率，降低用户使用成本；联合恒生电子股份有限公司推出 LightGPT 金融原生大模型解决方案，为投顾、客服、投研、运营、风控、 合规、研发等金融业务场景提供底层 AI 能力支持；联合浙江核新同花顺网络信息股份有限公司推出 HithinkGPT 金融对话大模型解决方案， 结合自身 iFinD、i 问财等数据库，能够为证券、期货、银行等金融机构快速上线智能投顾、智能投研、智能办公、智能编程等场景化解 决方案；联合达观数据推出信贷流水分析解决方案，采用 AI、OCR（光学字符识别）、大数据分析等前沿技术，实现了信贷流水的自动 化审核；联合上海新致软件股份有限公司推出保险产品核验解决方案，覆盖产品报备前日常核检和报备后自查整改两大场景，帮助保险 客户及时响应监管变化，确保产品持续满足监管合规要求覆，为企业带来智能化转型新范式。 华为始终坚持有所为有所不为，坚持伙伴优先，昇腾 AI 将持续携手伙伴来共同定义市场、联合开发、联合营销、持续迭代，实现 AI 技术和行业场景深度融合，让人工智能技术真正走入千行百业。