GPT-4构建和应用问题分析

GPT-4 代表了 LLM 的先进形态，在 LLM 构建的理念和技术方面已经领先了 一大步。

GPT-4 在构建 LLM 所 需的数据、算力、算法等方面，已经形成了巨大的壁垒，掌握了话语权.数据要求高 ：数据是预训练大模型的原材料，高质量的数据则保证 GPT-4 的输出质 量。大规模数据获取难、高质量数据保障更难。GPT-3 的原始数据规模 达 45TB，ChatGPT/GPT-4 在 GPT-3 大规模语料训练的基础上，又增 加了人为打标的数据，对数据的质量做了进一步优化。

算力成本高 :ChatGPT 训练使用了微软专门建设的 1 万个 V100 GPU 组成的高性能 网络集群，总算力消耗约 3640PF-days (即每秒一千万亿次计算，运行 3640 个整日) 。据报道，其前代 GPT-3 的训练单次成本就高达 460 万 美元，预计 ChatGPT/GPT-4 训练成本更高。

算法模型不开源不开放 ：本次 AI 浪潮的蓬勃发展依赖于开源开放。而 OpenAI 自 GPT-3 开始模 型已不开源。虽然 2023 年 3 月 1 日，OpenAI 开放了 API 接口调用， 但不支持微调，且未对中国大陆开放注册。

上述问题体现了直接使用 GPT-4 赋能通信业存在极大不确定性。而 GPT-4 在实测与应用过程中也还存在多类问题，比如事实性错误、答复的生成内容时效 性差、专业程度不足等问题。

事实性错误问题 ：对于某些确定的事实，GPT-4 给出的答案无法达到较高的置信度，对于 常识性的知识问题不能高效地给出符合日常认知的答案。大模型训练所 需语料涉及面非常广，仅就人文学科而言，就存在非常庞杂的知识的语 料，因此，在标注过程中，相关任务对标注人员的知识面、逻辑思考能 力等都有极高的要求。在此基础上，还需要针对更多语料中提及的知识 进行自动抽取，反复校验，才可一步步改进上述错误。

知识库信息的时效性不强： 由于 GPT-4 目前的版本仅支持 2021 年 9 月之前的语料信息提问，其回 答的内容没有进行实时信息关联。训练一个模型的人力成本较大、时间 周期较长，短期内难以有效地更新学习即时性的知识信息。例如下述提 到俄乌克战争情况时，给出的答案明显时 2021 年之前的信息，对 2022 年的信息却提示时未来事件。

专业程度不足的问题： GPT-4 能力覆盖广，但专业深度不足。模型复杂度，丰富性和通用性足 够高，但对于某个专业领域方向的资深知识信息结构认知不足。下属例 子对中国移动两款套餐的对比，套餐中包含的通话分钟数和流量及限定 要求都给出错误答案。

GPT-4 在不同的场景中展示出其应用之便利、性能之强大、前景之广阔，同 时也凸显出一些值得关注的隐忧。从某种意义上而言，GPT-4 的出现让诸多领 域面临新的挑战，若未引起足够重视，可能会引发负面的社会效应。

在公共安全方面： 公共安全领域主要涉及社会治安和信息安全。就社会治安而言，利用 GPT-4 模仿不同人员的对话习惯，再结合语音合成功能，进而实现高仿真的人类交流和互动。相关功能如果应用在诈骗等场合，助长违法犯 罪，影响社会稳定。就信息安全而言，数据治理面临更大风险，特别是 关涉国家安全、商业机密、个人隐私等多方面的敏感数据。GPT-4 模型 训练所使用的数据一般为大量可公开的数据和知识，但基于现有的技术 研发数据管理体制，不一定能保证直接相关的敏感数据或基于公开数据 研究所得的敏感数据不被泄露。

在道德伦理方面： 在伦理道德方面，无论是个人还是社会或国家同样受到一定的影响。从 个人的角度来看，对于大多数未成年人，甚至部分成年人，尚未形成成 熟且稳定的心智，在使用 GPT-4 的过程中，个人想法很容易被直接或间 接地带偏，进而做出不合适的行为；从社会或国家的角度来看，GPT-4 如果作为一个文化冲击的工具，对整个社会和国家将有可能产生不良影 响。

在教育教学方面： 在教育教学方面，最为直接的影响是学生在学习过程中，缺乏足够的思 考，直接询问 GPT-4，轻松地获取到相关的知识和解答，特别是在论文 的写作过程中，直接查询或生成相关内容，不仅不利于学生有效掌握相 关知识，无法锻炼问题研究能力，甚至会形成过度依赖，影响学生的创 造力，不利于教育的发展。