当前，主流 AI 大模型所使用的 Transformer 架构存在消耗算力资源大、占用内存储量多等局限性。

1.大模型产业遭遇算力瓶颈

随着 AI 大模型规模呈现指数级增长，训练大模型越发依赖高性能AI 芯片。AI 大模型的训练速度、产出质量，都和算力直接相关，对于GPT 这种大语言模型（LLM）来说，算力的要求更高，也决定了模型的“智商”。目前主要以英伟达的 A100、H100 为代表的高性能 AI 芯片应用到主流 AI 大模型的训练过程。以ChatGPT 为例，微软 Azure 云服务为其提供了 1 万枚英伟达A100 GPU，这个算力也正是国内云计算技术人士共识的 AI 大模型门槛。然而国内拥有1 万枚GPU的企业很少，而且单枚 GPU 普遍弱于英伟达 A100。由于英伟达A100 及以上性能GPU被列入管制清单，目前中国企业能获取的替代品为英伟达A800，然而A800 也存在缺货和溢价的情况。从我国自研 AI 芯片来看，中国本土的高性能芯片龙头以华为海思、寒武纪、地平线、昆仑芯等为代表。我国正在高性能芯片领域加大投入并取得极大进展，部分解决方案正替代英伟达成为一些大厂的选择。但国产芯片性能目前仍与国际顶尖水平存在一定差距。 总体而言，国内 AI 高性能芯片市场受进口限制和国内技术瓶颈的双重影响，大模型产业发展受到算力层面的一些制约。 

2.主流大模型架构仍存在诸多局限

当前，主流 AI 大模型所使用的 Transformer 架构存在消耗算力资源大、占用内存储量多等局限性。 首先，Transformer 架构消耗的算力资源普遍较大。传统Transformer 架构由于算法特性，计算量会随着上下文长度的增加呈平方级上升。假如用户输入的上下文增加 32 倍，计算量可能会增加 1000 倍以上。 其次，基于 Transformer 架构的大模型对存储设备的要求也更高。在训练过程中需要在内存中存储参数的当前值、梯度以及其他优化器状态。模型的参数越多，所需的计算就越多，需要的存储空间就越大。如 1000 亿个参数的Transformer模型，存储这些参数就需要 400GB 的空间。 

3.高质量的训练数据集仍需扩展

国内的 AI 大模型数据主要来自互联网、电商、社交、搜索等渠道，存在数据类型不全面，信息可信度不高等问题。整体来看，我国可用于大模型训练的中文数据库体量严重不足。如悟道语料库，其包括文本、图文和对话数据集，最大的仅 5TB，其中开源的文本部分仅为 200GB。另外一个开源的中文本数据集CLUECorps 为 100G。相比之下，GPT-3 的训练数据量，以英语为主，达到45TB。此外，国内大模型的数据还缺乏多数据源的调用，可供大模型训练的有效数据源呈现碎片化分散状态，如微信公众号的文章仅在搜狗引擎支持调用，而多数大模型如智谱清言在联网收集数据时无法直接调用微信公众号文章。当前，政府部门的权威数据、大型企业掌握的行业或内部数据通常不对外公开。以阿里巴巴的“通义千问”大模型为例，训练数据来自公开来源的混合数据，中文语料主要来自知乎、百度百科、百度知道等公开网络数据，来源于政府及企业数据较少。未来，仍需构建高质量的 AI 大模型训练数据集，不断扩充数据源提高数据质量。 

4.大模型爆款应用尚未出现

自 ChatGPT iOS 版本发布近十个月以来，该应用一直在下载量、用户支出和会话时长方面牢牢占据生成式人工智能应用下载量榜单前三名的位置。GPT4.0推出后，已支持语音输入和输出，可以理解用户的基本自然语言语音指令并进行回应，也可以将生成的文本以语音形式播放出来。此外，OpenAI 于2024 年1月上线包含超 300 万个应用的 GPT 商店 GPTs。GPTs 的应用被划分为“写作”“效率”“研究和分析”“编程”“教育”和“生活方式”等类目。如热门应用Consensus可以从 2 亿篇学术论文中进行搜索，并获得科学的答案；Grimoire 可以在用户填写基本信息后提供所需的 HTML、CSS 和 JavaScript 代码，创建网站（或其他）的编程应用。

相比而言，国内的 AI 大模型产业至今没有出现爆款级应用，原因在于尚未找到商业化思路，缺乏满足客户需求的个性化应用。我国大模型产业要推出爆款级应用，势必要在应用领域做深做细，让每一个用户都可以充分享受到大模型所带来的真正便利。