北京市人工智能大模型行业应用特征及挑战有哪些？

由浅入深，大模型穿越边缘场景，向核心场景挺进。

一、应用特征

2023年，大模型落地集中于边缘场景。大模型兴起于2023年初，经 过近一年的高速发展，其在政务、金融、产业升级等各个领域均有落地应 用。大模型在政务领域，以政务问答、文件生成等场景为主；在金融领域， 以智能客服、售前助理等场景为主；在产业升级领域，以知识问答、代码 补全等场景为主；在医疗领域，以医疗文书生成、智能医药问答等场景为 主；在文化教育领域，以内容润色、内容纠错等场景为主；在智慧城市领 域，以公共安全监测、城市运行报告生成等场景为主。但上述场景大多为 所属领域的边缘场景，不涉及生产、运营的核心环节，也不面向公众或外 部客户使用，仅面向内部员工使用。

2024年，大模型逐步向核心场景挺进。得益于大模型在边缘场景价 值的成功验证及其技术演进，大模型在深耕边缘场景的同时开始向核心 区挺进。在场景价值验证方面，多数需求方认可大模型价值，将计划追加 投入。例如某运营商在2023年研发客服大模型并试点上线，由数万名员 工内测试用，该运营商计划2024年开始在集团范围内加快规模化商用 推广。大模型技术演进主要指检索增强生成（RAG）、智能体（AI Agent）和 多模态，他们对扩大大模型应用范围有明显作用。检索增强生成技术是 指大模型在回答问题时，会先从大量的文档中检索出相关信息，然后将这些检索出的信息作为提问的上下文构建提示词，大模型再基于提示词 进行归纳总结，生成答案，检索增强生成技术主要用于解决大模型幻觉 问题 。智能体技术则可以实现大模型应用的能力升级，例如，类似 ChatGPT的大模型应用仅能起辅助作用，而智能体技术可以赋予大模型 感知、规划、记忆和使用工具的能力，实现独当一面。多模态技术使得交 互模态不局限于单一的文本模态，而是扩展至文本、图片、音频、视频等 多种模态，可显著提升大模型应用的产品功能和交互体验，推动大模型 应用从可用向好用转变。

大模型在各个领域均有落地应用，其中在产业升级和金融领域的落 地步伐最快。2023年公开招投标统计数据显示，产业升级相关大模型项 目招标金额最多，占比高达32.5%，金融占比紧随其后，占比为28.2%。

央国企需求旺盛，引领大模型在两大领域快速落地。央国企守正创 新，有较强意愿自上而下推进大模型应用。同时，央国企通常具有较强的 数据基础设施、算力投入和AI应用基础，为大模型成功落地提供先决条 件。在央国企引领下，大模型在产业升级和金融领域快速落地。

大模型基础能力提升、开发工具逐渐完善，为培育大模型应用提供肥 沃土壤。大模型持续迭代，语义理解、上下文长度、多模态等能力愈发完 善，有利于开发上层应用。同时，随着行业发展，大模型生态也在逐渐成 熟，各类便捷的AI开发工具陆续推出，应用开发难度显著下降。例如百度于 2024年推出的智能体开发工具AgentBuilder、AI原生应用开发工具 AppBuilder、各种尺寸的模型定制工具ModelBuilder，可以帮助不具备代 码编程能力的人员完成大模型应用开发。

动态行业数据成为大模型落地新关键。基础大模型一般是基于广泛 的公开文献与网络信息来训练的，属于“泛行业”，没有特定行业属性，导 致基于其搭建的上层应用在专业和细分领域难以提供高价值服务。因此， 打造行业大模型成为需求方和技术企业的共同关注点。具体而言，“动态 行业大数据”是打造行业大模型的核心，其是指为保证行业大模型的持久 生命力，技术企业应具备动态更新行业大数据的能力，而非只掌握一批 “静态数据”。拥有“动态行业大数据”的技术企业更容易获得需求方青睐。

需求方IT能力越强，越倾向采购基础大模型，反之则倾向采购大模 型应用。需求方IT能力差异显著，这会直接影响他们的采购行为。强IT能 力的需求方倾向能力建设，较弱IT能力需求方倾向应用建设。聚焦大模 型，强IT能力的需求方通常倾向采购基础大模型，通过自行微调来开发 各类上层应用。IT能力稍弱的需求方通常倾向采购“企业大模型”，即由 技术企业基于需求方数据对基础大模型进行微调。IT能力更弱的需求方 通常倾向采购大模型应用，实现“开箱即用”，由技术企业对基础大模型 进行调整和封装，需求方无需关心。

需求方IT能力越强，越具备在智算中心私有化部署大模型的条件， 反之则更依赖大模型一体机和公有云部署。强IT能力需求方通常已自建 智算中心，其具备高端GPU资源，支持大模型的训练和推理工作。IT能力 稍弱的需求方通常采用大模型一体机，其仍为私有化部署模式，由技术 企业对大模型、应用、算力资源进行整合，形成端到端解决方案，便于大 模型在需求方快速落地。IT能力更弱的需求方通常倾向公有云部署，此 种方式更省心且初始投入较低，有利于需求方低成本快速试错。

大模型训练及应用通常涉及四类参与主体，均存在安全需求。大模 型开发及应用全流程通常涉及数据提供方、大模型应用使用方、基础大 模型提供方、大模型应用提供方四类参与主体。它们在合作过程中需要 解决信任及隐私安全保护问题。数据提供方面临数据使用过程中的各种 不安全因素；大模型应用使用方担心在使用过程中泄露核心业务数据， 该担心并非空穴来风，例如2023年三星设备解决方案部门因使用 ChatGPT导致半导体设备测量、良品率/缺陷、内部会议内容等相关信息 被上传到ChatGPT服务器中，造成广泛负面舆论；基础大模型提供方面 临模型产权被窃取风险，特别是对于初创企业而言，基础模型是公司的 核心资产；大模型应用提供方面临微调参数成果泄露风险。

大模型安全逐渐受到重视，为可持续发展提供保障。在大模型行业 发展初期，各参与方聚焦大模型、算力等方面，对安全性重视程度不足。 随着行业发展逐渐深入，各参与方的安全呼声越来越高。反映到技术企 业端，已有一批企业推出大模型安全类产品，为可持续发展提供保障。

二、应用挑战

大模型被认为是建立在充沛算力之上的“暴力美学”，随着大模型兴 起，市场上算力需求剧增。不论是公共算力还是企业自建算力，尚无法完 全满足大模型企业对于智能算力的需求。随着大模型应用地更深更广， 算力紧张情况预计仍将延续。特别是大模型在训练环节需要大型算力集 群，但市场上存在较多分散算力，难以用于大模型训练，加剧了算力紧张 情况。

知识产权保护与大模型应用之间的法律平衡点仍在探索中。大模型 训练涉及的数据可能包括一些版权保护的作品，从知识产权保护的角度 而言，可能需要禁止使用，避免生成侵权回答。但是，这些作品数量众多、 来源各异、权属不同，若采用事先授权许可的方式，这一过程漫长、复杂 且几乎无法落地操作。 数据隐私保护与大模型应用之间的技术平衡点仍在探索中。对于数 据隐私保护和大模型效率之间存在着一个两难的矛盾⸺既要最大限 度地保护数据隐私，又要最大限度地发挥模型的效果。在政务、医疗和金 融领域，该矛盾尤为突出。通过开发可信的框架，从而在数据隐私保护、 模型效果和训练效率之间取得一种平衡，是业内的重点讨论方向，但仍 在探索中。

大模型幻觉问题是影响行业大模型在部分领域落地应用的关键。政 务、金融、医疗等领域对大模型输出内容的专业性、准确性有较高要求， 对不准确回答的容忍度较低。例如在政务领域，面向公众的政务问答一 旦生成错误的答案，将给工作人员带来额外的解释成本。 当前缺乏“根治”幻觉的方法，大模型规模化落地受阻。尽管当前较 多大模型技术企业采取引入提示词工程或外挂知识库等方式进行内容 校准，在一定程度上可以缓解大模型幻觉问题。但是，这种方式一定程度 上限制了大模型的通用泛化能力，难以从根本上解决幻觉问题。

需求方在输出内容的专业性、准确性等方面要求较高，特别是在 政务、教育、医疗等领域，尤为明显。当前大模型落地的各类应用大多 处于可用阶段。这也导致需求方主要让内部员工使用大模型应用，而 不对外服务。虽然现阶段大模型应用不能完全符合需求方实际业务要 求，但需求方已经从早期试点过程中看到了大模型价值和可持续优化 的潜力。因此，多数需求方有意愿携手技术企业继续深耕大模型应用， 推动其从可用迈向好用，让大模型的价值在员工群体和客户群体中得 到“全量释放”。

金融、医疗、教育等领域在政策、数据隐私、伦理安全等方面有较 高监管需要，需求方和技术企业积极响应，在凝练场景、开放数据、模 型训练等过程中考虑监管因素，在项目交付时考虑所属领域可能存在 的特殊要求。例如部分需求方为了保证数据不出域，可能要求技术企 业采用驻场微调的方式。