中国AI大模型产业政策、技术及市场驱动力在哪？

近年来，AI 大模型得到快速发展，当前大模型热潮主要由语言大模型相关技术引领。

1.中国 AI 大模型产业发展政策驱动力

近年来，我国始终高度重视人工智能发展机遇和顶层设计，发布多项人工智能支持政策，国务院于 2017 年发布《新一代人工智能发展规划》。科技部等六部门也于 2022 年印发《关于加快场景创新 以人工智能高水平应用促进经济高质量发展的指导意见》对规划进行落实。2024 年《政府工作报告》中提出开展“人工智能+”行动。伴随人工智能领域中大模型技术的快速发展，我国各地方政府出台相关支持政策，加快大模型产业的持续发展。当前，北京、深圳、杭州、成都、福建、安徽、上海、广东等地均发布了关于 AI 大模型的相关政策。具体来看，北京着力推动大模型相关技术创新，构建高效协同的大模型技术产业生态；上海强调打造具备国际竞争力的大模型；深圳重点支持打造基于国内外芯片和算法的开源通用大模型，支持重点企业持续研发和迭代商用通用大模型；安徽从资源方面着手吸引大模型企业入驻；成都着力推动大模型相关技术创新，重点研发和迭代 CV 大模型、NLP 大模型、多模态大模型等领域大模型以及医疗、金融、商务、交通等行业大模型；杭州支持头部企业开展多模态通用大模型关键技术攻关、中小企业深耕垂直领域做精专用模型。

2.AI 大模型产业发展技术驱动力

近年来，AI 大模型得到快速发展，当前大模型热潮主要由语言大模型相关技术引领。语言大模型通过在海量无标注数据上进行大规模预训练，让模型学习大量知识并进行指令微调，从而获得面向多任务的通用求解能力。2017年，Google提出基于自注意力机制的神经网络结构——Transformer 架构，奠定了大模型预训练算法架构的基础。2018 年，OpenAI 和 Google 分别发布了GPT-1 与BERT大模型，预训练大模型成为自然语言处理领域的主流。2022 年，OpenAI 推出ChatGPT，其拥有强大的自然语言交互与生成能力。2023 年，OpenAI 多模态预训练大模型GPT-4 发布，其具备多模态理解与多类型内容生成能力。2024 年，OpenAI 发布视频生成大模型 Sora，提出时空碎片和扩散 Transformer 技术，大模型的多模态生成能力的进一步成熟。本部分将从经典 Transformer 架构出发，通过全面梳理基于人类反馈强化学习、指令微调、提示学习等相关大模型技术，体现技术对于产业发展的带动作用。

2.1 Transformer 架构

Transformer 架构是目前语言大模型采用的主流架构，于2017 年由Google提出，其主要思想是通过自注意力机制获取输入序列的全局信息，并将这些信息通过网络层进行传递，Transformer 架构的优势在于特征提取能力和并行计算效率。 Transformer 架构主要由输入部分、多层编码器、多层解码器以及输出部分组成。其中，输入部分包括源文本嵌入层、位置编码器；编码器部分由N 个编码器层堆叠而成；解码器部分由 N 个解码器层堆叠而成；输出部分包括线性层和Softmax 层。

自注意力机制作为 Transformer 模型的核心组件，其允许模型在处理序列数据时，对每个词位置的输入进行加权求和，得到一个全局的上下文表示。在计算自注意力时，模型首先将输入序列进行线性变换，得到Q（查询）、K（键）和V（值）三个向量。然后，通过计算 Q 和 K 的点积，并应用Softmax 函数，得到每个位置的权重。最后，将权重与 V 向量相乘，得到自注意力的输出。为提高模型的表达能力，Transformer 模型采用了多头自注意力机制，这意味着模型在同一时间关注来自不同表示子空间的注意力信息。多头自注意力的实现方法是将输入序列分成多个组，每个组使用一个独立的权重矩阵进行线性变换，并计算自注意力。最终，自注意力的输出被拼接起来，并通过一个线性层得到最终的输出表示。在计算自注意力和多头自注意力之后，Transformer 模型使用前馈神经网络对输入序列进行变换。前馈神经网络由多个全连接层组成，每个全连接层都使用ReLU激活函数。前馈神经网络的作用是对输入序列进行非线性变换，以捕捉更复杂的特征。

2.2 AI 语言大模型关键技术

AI 语言大模型关键技术主要涉及基于人类反馈强化学习、指令微调、模型提示等相关技术。 （1） 基于人类反馈强化学习 基于人类反馈强化学习(Reinforcement Learning from Human Feedback,RLHF)，是指将人类标注者引入到大模型的学习过程中，训练与人类偏好对齐的奖励模型，进而有效指导语言大模型的训练，使得模型能够更好地遵循用户意图，生成符合用户偏好的内容。 基于人类反馈强化学习具体包括以下几个步骤： 1）训练监督策略模型：使用监督学习或无监督学习的方法，对一个预训练的语言模型进行训练，通过给予特定奖励或惩罚引导AI 模型的行为，使其能够根据给定的输入预测输出或行为。 2）训练奖励模型：让标记员参与提供有关模型输出结果的反馈，对模型生成的多个输出或行为的质量或正确性进行排名或评分，这些反馈被转换为奖励信号，用于后续的强化学习过程。 3）采用近端策略优化进行强化学习：先通过监督学习策略生成近端策略优化（PPO）模型，经过奖励机制反馈最优结果后，再将结果用于优化和迭代PPO模型参数。具体而言，在 PPO 模型训练过程中，智能系统通过尝试不同的行为，并根据每个行为获得的奖励来评估其质量，智能系统逐步改进行为策略。

（2） 指令微调 指令微调 (Instruction Tuning)，是一种帮助语言大模型实现人类语言指令遵循的能力，在零样本设置中泛化到未知任务上的学习方法。指令微调是让语言大模型理解人类指令并按照指令要求完成任务，即在给定指令提示的情况下给出特定的回应。指令微调可被视为有监督微调（Supervised Fine-Tuning，SFT）的一种特殊形式，但两者目标有所差别。SFT 是一种使用标记数据对预训练模型进行微调的过程，以便模型能够更好地执行特定任务，而指令微调是一种通过在（指令，输出）对的数据集上进一步训练大型语言模型（LLMs）的过程，以增强LLMs 的能力和可控性。指令微调的特殊之处在于其数据集的结构，即由人类指令和期望的输出组成的配对，这种结构使得指令微调专注于让模型理解和遵循人类指令。

（3） 模型提示 通过大规模文本数据预训练之后的语言大模型具备作为通用任务求解器的潜在能力，这些能力在执行特定任务时可能不会显式地展示出来，在大模型输入中设计合适的语言指令提示有助于激发这些能力，称为模型提示技术。典型的模型提示技术包括指令提示和思维链提示。 指令提示（Instruction Prompt）。OpenAI 在 GPT-3 中首次提出上下文提示，并发现 GPT-3 在特定领域少样本提示下能够达到人类水平，证明在低资源场景下非常有效。指令提示的核心思想是避免强制语言大模型适应下游任务，而通过提供“提示（Prompt）”来给数据嵌入额外的上下文以重新组织下游任务，使之看起来更像是在语言大模型预训练过程中解决的问题。思维链提示（Chain of Thought, CoT）。推理的过程通常涉及多个推论步骤，通过多步推理允许产生可验证的输出，可以提高黑盒模型的可解释性。思维链是一种提示技术，已被广泛用于激发语言大模型的多步推理能力，被鼓励语言大模型生成解决问题的中间推理链，类似于人类使用深思熟虑的过程来执行复杂的任务。在思维链提示中，中间自然语言推理步骤的例子取代少样本提示中的〈输入，输出〉对，形成〈输入，思维链，输出〉三元组结构。思维链被认为是语言大模型的“涌现能力”，通常只有模型参数规模增大到一定程度后才采用思维链能力。激活语言大模型的思维链能力方法，在提示中给出逐步的推理演示作为推理的条件，每个演示都包含一个问题和一个通向最终答案的推理链。

3.中国 AI 大模型产业发展市场驱动力

中国 AI 大模型产业发展源于多领域的广泛需求，例如来自办公、制造、金融、医疗、政务等场景中降本增效、生产自动化、降低风险、提高诊断准确率、提高政务服务效率等诉求。相关领域的创新和发展共同推动着中国AI 大模型产业的蓬勃发展，预示着未来更广阔的市场前景。

3.1 办公场景

近年来，随着文字、语音、图像等处理能力跃迁，大模型摇身变为“助理”走入办公室和会议室，结合传统软件使得办公和会议智能化。基于大模型的智能办公产品满足日常办公场景中文案生成、PPT 美化、数据分析等各种需求。仅通过自然语言交互，用户便可将繁琐的文字、演示、数据处理工作交给“助理”，用节约的时间做更有创意的事情。智能文档负责协助用户构建文章大纲、一键生成模板、生成内容、优化表达、处理和理解文档；智能演示承担自动排版美化、生成演讲备注、一键生成幻灯片等任务；智能表格通过对话即可生成公式、数据批量处理、自动生成表格。 智能会议方面，大模型可从会议策划、同声传译、会议记录等各环节赋能。会议策划场景大模型根据会议主题等提示词，自动生成会议环节、会议分论坛、会议时间、会议预算等完整策划内容；在大模型能力加持下，同声传译的准确性、及时性和多语言能力得到显著提升；通过大模型处理后，结构清晰、要点明确的会议记录结果使得会后回顾更加高效。

3.2 制造场景

人工智能崛起引领制造行业的深刻变革，改变研发设计、生产制造、供应链管理等流程。大模型+EDA/CAE/CAD，将传统研发设计软件效率进一步提升。大模型助力数字孪生和机器人，获得强大的感知场景和执行任务能力。大模型融合供应链管理，实现工厂管理的智能化转型。在研发设计阶段，以大模型+EDA 为例，利用云端扩展性实现设计自动化，并确保设计在电气方面准确无误，同时简化系统设计流程，缩短PCB 设计周转时间。企业借此缩短研发周期、降低研发成本、提升行业竞争力；生产制造中，利用 AIGC 和数字孪生技术，可模拟真实生产环境派出虚拟人代替工人进行危险、故障排查，或是通过仿真设备操作场景，完成沉浸式作业教学。拥有大模型功能的机器人凭借机器视觉技术，可执行路径规划、物体识别等任务；大模型集成于供应链管理系统中，能重构数字化办公流程，通过自然语言指令实现人机交互，推动企业进行更高效的管理决策、更便捷的数据分析与可视化，在需求端及时预测需求达到降本增效的目的，在仓库和物流端实现智能调度、智能跟踪和智能预警。

3.3 金融场景

金融行业存在前、中和后台的业务划分，在数字经济时代的浪潮中，相关业务已被大模型全局赋能提升效率。以银行为例，对话机器人、虚拟助理已经逐渐出现在个性化服务、电子营销、金融欺诈检测、信贷支持等服务场景中。个性化服务方面，银行大模型以客户数据为依据，为客户提供定制的财务和产品计划；电子营销方面，大模型根据客户行为偏好生成个性化电子邮件；金融欺诈检测方面，大模型赋能专业人员检索大量数据识别欺诈行为；信贷支持方面，大模型通过分析海量生产生活和信用数据，为信贷部门人员生成高质量的信贷方案建议，减少银行贷款收益损失。

3.4 医疗场景

得益于近年来医疗大模型的不断迭代，复杂的医疗数据分析任务得以解决。由于患者行为数据的独特性，大模型通过个性化设计，满足患者“千人千面”的医疗服务需求，应用于智慧影像、智慧手术、智慧健康等领域。智慧影像覆盖 CT、MR、DR、US、DSA、钼靶等医疗影像场景，为患者进行早期检测、诊断及健康风险评估；智慧手术功能大幅提高患者病情评价准确度，打牢术前风险评估、术中手术规划、术后预后估计的基础；智慧健康则作为一般患者的贴身健康助手，通过小程序等便捷方式为患者提供高质量导诊服务和个性化健康建议。

3.5 政务场景

在办公、制造、金融、医疗场景得到助力的同时，政务场景下的效率、信息参考范围、经验共享、规范性等常见痛点也获得大模型能力加持得以解决。为提升效率，大模型利用自动化的政策检索、政策比对解决海量政策参考、人工分析比对的耗时问题；为缩小信息参考范围，政策撰写助手结合政策数据权威白名单，并接入政策全量库，避免不可靠信息来源引发舆论风险；为提高政策管理经验共享，大模型引入政策经验知识库，提升政务业务理解和政策管理能力；为规范政策撰写，政务大模型凭借规范化生成、检查功能维护成果的规范性、权威性。