前沿AI开源争论及立场总结

2023年9月底，抗议者聚集在Meta旧金山办公室外，抗议其公开发布AI模型的政策，声称 Llama系列模型发布代表了潜在不安全技术的“不可逆转的扩散” 。

1.争论主要在于前沿AI的滥用和失控风险

1.1 大多数AI应开放并无争议

图灵奖得主Yoshua Bengio在讨论开源AI潜在的滥用风险时认为 48：模型开源一般由研发 机构自身决定。目前大多数AI是有益/无害的，应该共享。但未来更强的AI可能因滥用而产生 全社会的影响，这些决定应经过利益相关方的审议。因为模型的开放共享决策是不可逆转的， 一旦落入恶意行为者手中，国家和社会就无法控制。 当Elon Musk等指责Sam Altman“呼吁监管”只是为了保护OpenAI的领导地位时，Sam Altman回应称 49，“应该对那些超过某一高度能力阈值的大型公司和封闭模型进行更多监管， 而对小型初创公司和开源模型的监管应该较少”。 OpenAI、DeepMind、微软等机构的研究人员撰写的研究报告《前沿AI监管：管理公共安 全的新兴风险》 50指出：开源AI模型可能是一项重要的公共产品。然而，前沿AI模型可能需要 比相对于它们更小、更专用或能力较弱的同类模型受到更多限制。

Anthropic在《第三方测试是AI政策的关键组成部分》 51一文中认为：当今绝大多数（甚 至可能是全部）AI系统都可以安全地公开传播，并且在未来也可以安全地广泛传播。然而，我 们相信，未来前沿AI系统完全开放传播的文化与社会安全文化之间可能很难调和。

1.2 前沿AI可能因滥用和失控引发灾难性风险

前沿AI可能涉及的滥用和失控风险主要包括网络安全、化学/生物/辐射/核威胁(CBRN)、 虚假信息的滥用风险，以及操纵欺骗、模型自主性导致的滥用和失控风险。 当前证据表明开放模型和封闭模型之间存在显著的性能差距 52，但随着开源模型的能力日 益接近GPT-4级别 53，对于前沿AI模型是否应开源的争论预计将更加激烈。

2.立场一：审慎开放，防范风险的开放门槛须标准更高

2.1 产业界

1）Anthropic专注于开发安全、可控的AI系统，前沿模型均未开源 54 一方面，Anthropic认识到科学进步很大程度上依赖于研究的开放和透明文化，AI领域的 许多革命性进展都是建立在开源研究和模型的基础上的。开源系统通过允许更多人测试技术并 识别潜在弱点，有助于提高安全环境的稳健性。 另一方面，Anthropic 也表达了对于前沿AI系统完全开源可能带来的风险的担忧。他们认 为，随着 AI 模型的能力日益增强，如果（“如果”是一个关键且尚未解决的问题）存在可能 导致有害影响或灾难性事故的风险，那么当前的开源文化可能需要调整，以确保 AI 系统的安 全和社会责任。 Anthropic提出，AI开发者在发布系统时需要提供强有力的安全保证，例如通过分类器检 测和阻止滥用尝试，或通过合同义务限制微调系统的能力。如果有人想要公开发布模型权重， 他们需要确保模型经过强化以防止滥用（例如，通过RLHF或RLAIF训练），并找到一种方法 来制作该模型能够适应将其微调到可能导致这种滥用的数据集的尝试。还需要试验披露流程， 类似于安全社区如何制定有关零日披露预先通知的规范。

Anthropic强调，尽管这些安全措施可能成本高昂，但为了预防AI系统可能导致的严重滥 用或事故，这些努力是必要的。然而，他们也承认，对于AI系统的公开传播进行限制需要在AI 系统或系统行为的不可接受滥用行为上达成广泛共识。 最后，Anthropic指出，作为一家主要开发封闭系统的公司，他们没有正当性来决定哪些 行为在开源模型中应该或不应该被接受。因此，他们呼吁需要合法的第三方来开发和应用被广 泛认可的测试和评估方法，以及定义AI系统滥用行为的标准，并对受控（例如通过API）或公 开传播（例如通过开源权重）的模型进行这些测试，以生成关于AI领域安全特性的基本信息。 如果不这样做，可能会面临严重滥用或AI事故的风险，这可能对人和社区造成重大伤害，并可 能导致对AI行业不利的法规。

2）OpenAI开源策略经历了从相对开放到逐步收紧的过程 2015-2019年的早期阶段，OpenAI秉持开放、协作、造福人类的理念，主张通过开源推 动AI的进步。他们发布了GPT、GPT-2等自然语言处理模型，以及Universe等平台的源代码， 希望学术界和业界能广泛参与、共同进步。 但随着语言模型等AI系统变得越来越强大，OpenAI开始意识到技术滥用和误用可能带来 的危害，如制造虚假信息、侵犯隐私等。为了降低风险，他们在GPT-2发布时采取了分阶段发布 55、有限度的开源策略。这一举措引发了一些争议，但也反映出OpenAI对于强大AI系统负责 任、可控发展的重视。 2019年底，OpenAI宣布从非营利组织转为"封顶利润"的有限责任公司，以获取更多的商 业资源和灵活性。这导致了商业利益在其决策中的比重上升。为了保护自身的竞争优势和创新 成果，OpenAI开始减少对开源模型和训练代码，同时发布的研究成果也大幅减少，像GPT-3 这样的大模型只开放API，希望既能惠及社会，又能在一定程度上控制技术的传播和应用，但 OpenAI的品牌名称导致了一定程度的混乱 56。 总的来说，OpenAI的开源策略是在开放共享、风险防控和商业利益之间不断权衡、动态 调整的。这种平衡和博弈，也反映了当前整个AI领域在开源问题上的复杂性和两难性。

3）Google DeepMind开源了AlphaFold 2和Gemma，但不开源前沿模型Gemini 2024年2月，Google DeepMind的首席执行官Demis Hassabis在接受《纽约时报》专访 时 57，谈及如何看待通过开源使基础模型可用增加了被恶意使用其能力的风险这一批评。 Demis Hassabis提到，开源和开放科学对于AGI技术的发展显然是是有益的。但他也指出开源 可能带来的风险，特别是对于强大的AGI技术，因为其通用性，一旦开源就可能被恶意利用。 他解释说，Google DeepMind决定开源Gemma模型的原因是因为Gemma是轻量级的版 本，相对于前沿模型Gemini来说，它的能力已经得到了很好的测试和理解，因此Google DeepMind认为这种规模的模型相关的风险并不大。 他还强调了安全性、鲁棒性和责任性的重要性，特别是在接近AGI时，必须更加谨慎地考 虑这些系统可能被滥用的可能性，开源的门槛必须更高。他认为，对于开源的极端主义者，必 须更多地考虑这些问题，因为这些系统变得越来越强大。 而此前，DeepMind还开源了AlphaFold 2，但也通过内部机构审查委员会，外部生物研 究、生物安全、生物伦理专家咨询，以及精心设计的发布策略，旨在使AlphaFold 2的收益尽 可能地广泛可用，同时保持对其局限和准确性的透明度 58。 总的来说，Demis Hassabis和DeepMind支持开源，但同时也强调了在开源时需要考虑的 安全性和潜在风险，特别是在AGI技术方面。他们倾向于在确保风险可控的情况下进行开源， 以促进技术的健康发展和广泛应用。

4）AI合作伙伴关系（PAI）建议谨慎发布前沿模型 2023年10月，PAI发布《安全基础模型部署指南》 59，为AI模型提供商提供了一个框架， 并为负责任地开发部署基础模型提出了22条实践建议，旨在确保社会安全并适应不断发展的AI 能力和用途。 为了解决这些深远的影响，PAI强调需要采取集体行动和共享安全原则。这种协作方法涉 及各个不同利益相关方，包括工业界、⺠间机构、学术界和政府。目标是为负责任的模型开发 和部署建立集体共识的最佳实践，从而落实AI安全原则。 指南被设计为一份动态文档，可以随着新的AI能力和⻛险而不断发展。它提供了一组针对 模型的特定能力和发布方式的定制化推荐实践104。这种方法在整个部署过程中指导模型提供 商的同时，也补充了更广泛的监管框架，并持续迭代。

2.2 学术界

1）GovAI探讨了开放高能力基础模型的潜在风险和替代方案 2023年9月，GovAI发布的《开放高能力基础模型》报告 60，对追求开源目标的风险、收 益和替代方案进行了评估。 作者们承认，开源有显著的优势，例如使外部监督成为可能、加速进步和去中心化的AI控 制。但也存在明显的风险，例如允许恶意行为者在没有监管的情况下滥用AI，并可关闭模型本 身设计的安全措施。

虽然迄今为止，开源已经为大多数软件和AI开发流程提供了可观的净收益，但对于在不久 的将来可能出现的一些高能力模型，开源的风险可能超过收益。主要考虑因素包括： 潜在风险：高能力模型可能带来极端风险，比如用于生产生化武器或进行网络攻击。 当前AI能力还未能超过最极端风险的临界能力阈值。然而，我们已经看到初步的危险 能力出现，随着模型变得越来越强大，用户部署和调整这些模型所需的专业知识和计 算资源越来越少，这一趋势可能会持续。 攻防失衡：开源有助于解决一些风险，但可能加剧部分极端风险。对于传统软件，开 源促进了防御一方。然而，对于越来越强大的基础模型，攻防平衡可能会因以下原因 而偏向于攻击，因为恶意行为者可以更容易地发现和利用漏洞，开源也不利于修复漏 洞以及改进措施在下游实施。 替代方案：有其他更少风险的方法可以追求开源目标，尽管这些策略都有其自身的缺 点。例如，针对特定研究、审计和下游开发需求的结构化模型访问选项，以及积极努 力组织安全合作，鼓励和实现更广泛地参与AI开发、评估和治理过程。

鉴于这些潜在风险、攻防失衡和替代方案，为帮助建立负责任开源的最佳实践，在安全的 前提下保留开源的优势。作者为开发者、标准制定机构和政策制定者提出了以下建议： 开发者和政府应该认识到，一些功能强大的模型开源的风险太大，至少在初期是这 样。随着社会对风险适应和安全机制改进，之后可以开源。 开源高性能基础模型的决策应基于严格的风险评估。除了评估模型的危险能力和直接 滥用之外，还必须考虑模型微调或修改可引发的滥用。 开发者应考虑开源的替代方案，在获得技术和社会效益的同时，又没有太大的风险。 可能的替代方案包括渐进/分阶段发布、为研究和审核人员提供结构化模型访问，对AI 开发和治理决策的广泛监督等。 开发者、标准制定机构和开源社区应多方协作，定义模型组件发布的细粒度标准。标 准应基于对发布不同组件特定组合所带来的风险的理解。 政府应对开源AI模型进行监督，并在风险足够高时实施安全措施。AI开发者或许不会 自愿采用风险评估和模型共享标准，政府需要通过法规来执行此类措施，并建立有效 执行此类监督机制的能力。

2）Mila等机构的学者提出可下载模型微调的日益便捷可能会增加风险 2023年12月，Mila、英国AI安全研究所、剑桥大学等机构的研究人联合发布论文《可下 载基础模型日益便捷的微调所带来的风险》 61（这里的“可下载访问”，是指公开发布预训练基础模型的权重，3.2节将进一步讨论）。论文讨论了以下几个主要方面： 微调的可访问性提高：研究如何通过减少微调的计算成本和改进成本分摊机制，提高 了微调的可访问性。既包括了模型权重的可获取性，也包括了通过研究进展（如改进 算法、使用合成数据、参数高效的微调方法等）来降低微调的技术门槛和成本，使得 更广泛的用户群体能够便捷地使用这些模型。 潜在危害的增加：论文认为，微调方法的可访问性提高可能会通过促进恶意使用和使 得对具有潜在危险能力的模型进行监督变得更加困难，从而增加危害。 潜在缓解措施和收益：论文讨论了可能的缓解策略，例如使预训练模型更难针对特定 任务进行微调 62，以及“遗忘学习”(unlearning)技术来移除可能被恶意行为者利用的 记忆信息。同时，论文也指出了微调的可访问性提高可能带来的潜在好处，如促进学 术研究、适应新的用例、避免权力不平衡等。 不确定性和未来工作：论文强调了关于危害的大量剩余不确定性，并建议未来的工作 应该集中在研究危害可能出现的情况，并开发缓解措施，如使某些任务或能力的微调 变得更加困难。 论文强调了在开放模型和提高微调可访问性的同时，需要平衡潜在的收益和风险，并并投 入更多的研究努力来理解和减轻这些风险。论文的结论强调了在提高微调可访问性的同时，需 要平衡潜在的危害和好处，并投入更多的研究努力来理解和减轻这些风险。这表明作者倾向于 在采取适当的预防措施和监管框架的情况下，审慎地推进基础模型的开放。

3.立场二：鼓励开放，边际风险的严谨证据仍相当有限

3.1 产业界

1）领先的AI开源机构：仅列举开源了其最强模型的机构 Meta(Facebook)长期以来一直积极支持开源社区，贡献了PyTorch等多个重要的项目。 Meta在开始每个AI项目时都希望将项目的每个组件开源 63，但有时却因为研究想法不成功或其 他考量无法开源。在大模型方面，2022年5月Meta发布OPT-175B大语言模型，2023年2月发 布Llama模型，都为非商业研究用途免费开放，并在2023年7月和2024年4月分别开源了可直 接商用的大模型Llama 2和Llama 3。Meta首席科学家杨立昆认为 64，开源的大模型能够吸引 更多人参与，从而加速技术进步，这样的系统更安全，性能更佳。AI必须是开源的，因为当大 模型成为通信结构的重要组成部分时，我们都需要有一个通用的基础设施。

BigScience是一个由学术界和工业界合作发起的国际开源研究项目，旨在训练和开源有 益于科学发展的大规模AI模型，在推动大模型开源和多样性方面走在前列。2022年5月他们发 布BLOOM-176B等大规模多语言开源对话模型，希望让不同语言和文化背景的用户都能使用 先进AI技术。该项目由Hugging Face联合创始人Thomas Wolf构想，他希望与大公司竞争， 提出不仅要训练出立于世界上最大的多语言模型之林的模型，还要让所有人都可以公开访问训 练结果，圆了大多数人的梦想 65。 EleutherAI是一个致力于开源的非营利实验室，成员主要是AI研究人员、工程师等。他们 的目标是复现和开源类似GPT-3的大规模语言模型，让更多人能使用和研究。EleutherAI发布 了GPT-Neo系列、GPT-J、Pythia系列等免费商用授权的开源模型，这些模型有不同规模，全 部采用公开数据进行训练，旨在帮助研究人员理解大模型训练的不同阶段。Connor Leahy是 EleutherAI和Conjecture的联合创始人，他对AI模型开源持复杂观点。EleutherAI在推动开源 AI研究方面发挥了重要作用，但Connor Leahy也批评Meta是“最不负责任的AI参与者”， “我们应该令核武器的设计透明化吗？” 66强调了在没有严格安全防护的情况下公开强大技术 的风险。

Stability AI是一家致力于开发先进的图像生成软件开源AI的公司。其代表作Stable Diffusion软件在业界享有盛誉，最强大的开源图像生成模型之一，被广泛应用于图像识别、 生成和编辑等领域，推动了AI艺术创作的发展和普及。 阿联酋人工智能和数据科学研究所(TII)是阿联酋国家AI战略的重要组成部分，致力于推动 AI技术的研究、开发和应用。TII在开源大模型领域取得了重大进展，推出Falcon 180B模型， 为全球研究人员和开发者提供了宝贵的资源。TII将 Falcon 180B 开源，旨在促进全球AI研究 的合作和发展，成为阿联酋和中东地区积极发展AI技术的体现。

2）IBM和Meta联合发起AI联盟，合作推动开放、安全、负责任的AI发展 2023年12月，IBM和Meta联合发起AI联盟(AI Alliance) 67。这是一个国际性的技术开发 者、研究人员和采用者社区。AI联盟由超过50个创始成员和协作者组成，包括AMD、CERN、 谷歌、英特尔、Hugging Face等知名机构。该联盟旨在通过开放创新和科学，聚焦于加速负 责任的AI创新，同时确保科学严谨、安全、多样性和经济竞争力。联盟将开展多个项目，包括 开发和部署标准、工具，推进开放基础模型的生态系统，促进AI硬件加速器生态系统的繁荣， 以及支持全球AI技能培训和探索性研究。

3）负责任创新实验室发布聚焦于负责任AI的自愿承诺协议 2023年11月，总部位于旧金山的负责任创新实验室(Responsible Innovation Labs, RIL) 68发布了针对初创公司及其投资者的首个行业驱动的负责任AI承诺。这些承诺包括五个关 键行动步骤：确保组织对负责任AI的认同、通过透明度建立信任、预测AI的风险和收益、审计 和测试以确保产品安全、进行定期和持续的改进。这一自愿性协议旨在提供实用指导，由多部 门联盟支持，包括风险投资家、生成AI初创公司、学术界和美国商务部。协议聚焦于负责任AI 的自愿承诺，为早期阶段的初创公司提供了针对其特定需求的资源。RIL的目标是为日益增多 的希望在扩大业务和创新时整合负责任AI实践的初创公司和投资者提供指导。该协议的初始签 署者包括35家领先的风险投资基金。

3.2 学术界

1）Mozilla发起《关于AI安全和开放的联合声明》主张以公开访问和审查增强安全性 69 声明指出，当前正处于AI治理的关键时期。为了减轻当前和未来AI系统可能带来的伤害， 需要拥抱开放性、透明度和广泛的访问权限。这应该是一个全球性的优先事项。签署者包括来 自不同领域的专家，如Meta的杨立昆、斯坦福大学的吴恩达、哥伦比亚大学的Camille François、Mozilla的Mark Surman、加州大学伯克利分校的Deborah Raji、诺贝尔和平奖得 主Maria Ressa Rappler、EleutherAI的Stella Biderman等1800多位签署者。 声明反对仅通过严格、专有控制AI模型来防止对社会的大规模危害的观点，主张通过公开 访问和审查来增强安全性。声明强调，过于匆忙地推行限制性法规可能损害竞争和创新。 从开源到开放科学，声明呼吁采取多样化的方法： 1. 通过促进独立研究、合作和知识共享，加速理解AI能力、风险和伤害。 2. 通过帮助监管者采用工具来监测大规模AI系统，增加公众审查和问责。 3. 为专注于创造负责任AI的新参与者降低进入门槛。 当谈到AI安全和安保时，强调“开放性是一种解药，而不是毒药”。

2）普林斯顿大学等机构的学者探讨开放基础模型的社会影响，力求促进讨论的精确性 70 作者认为对开放影响的分歧是由于对其社会影响的说法缺乏精确性造成的。在分析了开放 基础模型的收益的基础上，他们提出了一个风险评估框架，用于评估开放基础模型与封闭模型 或互联网上的网络搜索等现有技术相比的边际风险。

开放基础模型的收益。开放性的关键属性包括：更广泛的访问（通过允许更广泛的人访问 模型权重）、更大的可定制性（通过允许用户按需调整模型）、本地适应和推理（用户可自行 选择硬件）以及无法撤销访问权限（基础模型开发人员一旦发布就无法轻易撤销访问权限）。 这些特性带来许多收益： 分配谁定义可接受的模型行为：更广泛地访问模型及其更大的可定制性扩展了谁能够 指定可接受模型行为的边界，而不是仅由基础模型开发人员拥有决策权。 加大创新力度。更广泛的访问、更大的可定制性和本地推理扩展了基础模型用于开发 应用程序的方式。例如，具有严格隐私控制要求的应用程序可使用本地部署的模型。 促进科学研究。许多类型的基础模型研究和使用都需要访问模型权重。过去两年中， 已经看到了开放模型带来的速度提高和安全挑战的例子。同时，访问数据、文档和模 型检查点等资产对于其他研究来说是必要的，因此单独提供模型权重通常并不足够。 实现透明度。持续且广泛的公开源代码支持的同行评议可以通过识别和消除核心开发 团队可能无法发现的缺陷来提高软件的安全性 71。同时，没有经验证据表明开源软件 比闭源软件更容易受到攻击或更不安全 72。对模型权重的广泛访问可实现某种形式的 透明度，例如有关模型架构的详细信息。然而，与研究类似，透明度也需要模型权重 以外的资产，特别是公开文档，当前即使模型权重公开发布，也往往缺乏公开文档。 减轻单一文化和市场集中度。在不同的应用中使用相同的基础模型会导致单一文化。 当模型出现问题时，会影响所有下游应用。更大的可定制性可减轻单一文化的危害， 因为基础模型的下游开发者可对其进行微调以改变其行为。同样，更广泛的模型访问 渠道可降低开发不同类型基础模型的进入壁垒，从而有助于降低下游的市场集中度。

作者实例化了两种滥用风险的框架，对自动漏洞检测产生的网络安全风险（如上表所示） 和数字化修改的NCII风险进行了初步分析。对于前者，开放基础模型目前的边际风险较低，并 且有多种方法可以防御边际风险，包括使用AI进行防御。对于后者，开放基础模型目前目前带 来了相当大的边际风险，而且看似合理的防御似乎很困难。 最后，作者希望其概念框架能够帮助弥补当前实证证据的不足，并提出以下政策建议： 开放基础模型的开发者应明确其与产品下游开发者之间的责任划分。特别是，开发人 员应明确实施了哪些负责任的AI实践，以及哪些留给可能修改模型以在面向消费者的 应用程序中使用的下游开发者。 研究开放基础模型风险的研究人员应采用风险评估框架来明确阐明公开发布基础模型 的边际风险。如果没有这样的评估，就不清楚所概述的风险是否也存在于现状中或新 风险确实无法制定良好防御措施。目前这种边际风险的证据仍然相当有限 75。 政策制定者应主动评估监管草案对开放基础模型的影响，尤其是在缺乏边际风险权威 证据的情况下。资助机构应确保调查开放基础模型风险的研究获得足够的资助，同时 保持适当独立于基础模型开发者的利益。 竞争监管机构应该投资于更系统地衡量基础模型的收益以及开放性对这些收益的影 响。例如，AI监管对围绕开放基础模型活跃创新生态系统的潜在意外后果。