中科创达为什么能够做大模型？

创达在行业通用大模型领域内积累了大量的优质行业数据。

中科创达 自 2008 年成立以来就开始 Android 相关开发业务，积累了大量的操作 系统开发代码数据。同时中科创达与行业内芯片公司、终端公司均有多 年合作。同时公司有相应硬件产品线，在智能终端、智能物联网、智能 汽车等行业领域丰富的应用和实践经验，能够助力大模型的相关研发。

创达具有强大的工程技术能力，且有多年 AI 模型和产品的开发经验。 如今操作系统成为智能产业的核心中枢。为了支撑快速迭代的硬件开发 和持续增长的应用市场，操作系统的复杂度已提高到前所未有的重要程 度。创达在操作系统开发领域积累了多年的开发经验，培养了一批优秀 的开发工程师。近年来，中科创达持续扩充技术人员数量，在 2022 年 拥有 12059 名技术人员，有着深厚的技术开发实力和完备的人才团队。

在人工智能领域，创达有多年技术能力的积累。创达拥有人工智能开 发平台 Model Farm，功能覆盖数据管理、数据标注、模型训练评估、 在线测试、模型导出等全部流程，可高效支持数据智能化分析场景，特 别是其低代码开发的特性，不但加快了模型训练进度，还大幅降低了用 户的使用难度。在此基础上，ModelFarm 系统还自带至少 50 种预训练 模型，可供用户自由选择。

创达与产业内伙伴进行了共建实验室模式的合作，能够更容易获取算 力支持。自 2018 中兴受到美国制裁以来，美国以“国家安全”等各种 缘由通过法案、实体清单以及联盟的形式来限制中国芯片业的发展，限 制内容涵盖 EDA、设备材料、晶圆代工以及成品芯片等与芯片相关的 产业。其中，主要用于深度学习运算的 NVIDIA GPU 芯片被限制对中 国出口：2022 年 8 月，美国政府正式限制 A100 和 H100 等计算 GPU 芯片向中国出口；AMD 同样被要求不准向中国客户销售高端 AI GPU 芯片 MI250。对于国内企业而言，高性能的 GPU 计算芯片缺失会对 AI 模型训练带来较大影响。

2023 年 5 月，中科创达宣布与亚马逊云科技面向大语言模型应用领域 展开战略合作，共同成立人工智能联合创新实验室。 亚马逊云科技连续 12 年被 Gartner 评为“全球云计算领导者”，有着身 后的算力平台搭建和相关经验积累。双方合作不仅能够聚焦 AI 大模型 在行业场景中的应用创新与工程化，并将以生成式 AI 为切入口，围绕 相关的创新应用场景进行研究、设计和方案原型开发。亚马逊云科技拥 有覆盖全球的基础设施，超过 200 大类广泛而深入的云服务业务基础。 双方的合作能够推动相关开发工作的进程。

目前大模型开发和应用的代价并非不可承受的，且在可见的未来会逐 渐降低。文心一言开启内测的 1 个多月时间内完成了四次技术版本升级， 将推理成本降为了之前的十分之一。OpenAI 在 3 月份允许开发者通过 API 将 Chatgpt 和 Wisper 模型应用其程序和产品中，此次定价为 0.2 美分/千 tokens，对应为百亿参数级别模型，而 Chatgpt 在训练中使用 奖励模型，对应为千亿参数模型，说明 OpenAI 将千亿模型的学习能力 浓缩到百亿参数模型，从而降低在推理端的成本。业内的 L0 级大模型 已经完成了显著的降本过程，未来随着模型的迭代还将持续降低训练和 推理成本。

大模型训练的技术和工具也在持续迭代，能够为模型训练提供更好的 支持手段。2023 年 4 月，微软宣布开源 DeepSpeed-Chat，能够协助 用户训练大语言模型。DeepSpeed-Chat 其具备训练、强化推理以及 RLHF 技术等功能，可将训练速度提升 15 倍，大大降低企业开发大模 型的成本。随着越来越多相关技术的涌现，相关开发成本也能够持续下 行。