2024年人工智能安全治理分析：全球协同治理成核心趋势

人工智能作为引领未来的战略性技术，正在深刻改变全球产业格局和人类生活方式。随着ChatGPT等生成式人工智能技术的突破性进展，AI已经进入大规模应用的新阶段。然而，技术的快速发展也带来了前所未有的安全挑战，从算法偏见、数据泄露到失控风险，人工智能安全治理已成为全球关注的焦点。2024年9月，中国发布《人工智能安全治理框架》2.0版，标志着人工智能安全治理进入系统化、规范化的新阶段。该框架在1.0版基础上，针对高性能推理模型涌现、轻量级模型开源普及、智能体技术演进等新趋势，提出了更加全面和深入的安全治理方案。

一、人工智能安全风险呈现多元化、复杂化特征，技术内生安全问题尤为突出

人工智能安全风险已经从单一的技术问题演变为涵盖技术、应用、社会等多维度的复杂体系。根据《人工智能安全治理框架》2.0版的分类，人工智能安全风险主要分为技术内生安全风险、技术应用安全风险和应用衍生安全风险三大类别。技术内生安全风险主要体现在模型算法和数据安全两个方面，这些问题源于人工智能技术本身的特点和局限性。

模型算法安全风险包括可解释性不足、偏见歧视、鲁棒性不强、输出决策不可靠、外部对抗攻击和模型缺陷扩散等六个方面。以可解释性不足为例，深度学习算法的运行逻辑复杂，推理过程不透明，导致决策输出难以预测和归因，异常、故障、错误难以快速修正和溯源追责。这一问题在医疗诊断、金融风控等高风险应用场景中尤为突出，因为在这些领域，决策的透明度和可追溯性至关重要。偏见和歧视问题则源于模型算法研发设计及训练过程中，偏见被有意或无意引入，或者因训练数据质量、多样性问题，导致算法输出存在民族、信仰、国别、地域、性别等歧视性内容。研究表明，在某些人脸识别系统中，对特定种族人群的识别错误率明显高于其他群体，这充分暴露了算法偏见可能带来的社会不公问题。

数据安全风险同样不容忽视，包括违规收集使用数据、训练数据内容不当、训练数据标注不规范以及数据和个人信息泄露等问题。训练数据包含虚假、偏见、侵犯知识产权等违法有害内容，还面临攻击者篡改、注入错误、误导数据的"投毒"风险，影响模型价值观对齐，"污染"模型概率分布，造成决策输出准确性、可信度下降，甚至输出违法有害信息。数据标注过程中存在的标注规则不完备、标注人员能力不足、标注错误等问题，也会影响模型算法准确度、可靠性、有效性，可能导致训练偏差、偏见歧视放大、泛化能力不足或决策判断输出错误。更重要的是，人工智能训练数据蕴含的知识、敏感信息暗藏于模型参数之中，因模型安全防护机制不健全、敏感信息未"遗忘"、诱导交互和恶意攻击，可能导致数据和个人信息泄露，这对个人隐私保护构成了严峻挑战。

二、技术应用安全风险向关键基础设施领域蔓延，网络系统和信息内容安全面临新挑战

随着人工智能技术在能源、电信、金融、交通等关键信息基础设施领域的广泛应用，技术应用安全风险正在向经济社会核心领域蔓延。网络系统安全风险包括组件和算力安全、网络暴露面扩大、供应链安全和网络攻击滥用等四个方面。人工智能依赖的开发框架、计算框架、执行平台、算力设施等，存在缺陷、漏洞、后门、可靠性等风险，同时面临算力资源恶意消耗，以及安全问题在多源、异构、泛在算力资源间跨边界传递的风险。

模型本地化部署涉及网络拓扑和系统策略、权限、端口、资源的调整配置，易形成新的网络攻击入口和路径。智能体需调用终端系统文件、权限、接口、工具，以实现复杂任务自主规划自动执行，加剧文件泄露、权限滥用等安全风险。人工智能产业链呈现高度全球化分工协作格局，但个别国家利用技术垄断和出口管制等单边强制措施制造发展壁垒，恶意阻断全球人工智能供应链，带来突出的芯片、软件、工具断供风险。更令人担忧的是，人工智能可被用于降低网络攻击门槛，提高攻击效率甚至实施自动化攻击，增大防护难度。特别是可用于生成图片、音频、视频等高仿真内容，绕过人脸识别、语音识别等身份认证机制，导致认证鉴权失效。

信息内容安全风险主要表现为输出违法有害信息、混淆事实误导用户以及污染网络内容生态。模型自身安全能力不足，叠加应用防护机制不强、用户恶意诱导等因素，导致生成输出欺诈、暴力、色情、极端主义等违法有害信息，威胁社会稳定、公共安全和意识形态安全。人工智能输出内容未经标识，特别是"深伪"技术的应用，导致用户难以识别生成内容来源及交互对象是否为人工智能系统，难以鉴别生成内容的真实性，影响用户判断，还可被用于制作传播虚假信息误导公众、非法牟利。模型输出的低质不良信息，经网络扩散传播、模型循环引用，造成网络内容质量的整体下降，甚至特定领域、话题的内容污染，这对网络信息生态治理提出了新的要求。

现实安全风险则体现在经济社会运行安全的新挑战、被违法犯罪活动利用"作恶"以及核生化导武器知识能力失控等方面。人工智能应用于关键信息基础设施行业领域，模型算法的幻觉输出、错误决策，以及不当使用、外部攻击等，可能引发系统性能下降、服务中断、操作执行失控等问题，加剧关键信息基础设施安全稳定运行风险。人工智能可被利用于涉恐、涉暴、涉赌、涉毒等传统违法犯罪活动，包括传授违法犯罪技巧、隐匿违法犯罪行为、制作违法犯罪工具等。最令人担忧的是，人工智能在训练过程中多使用门类宽泛、内容丰富的语料数据，其中包含核生化导武器相关基础理论知识，辅以检索增强生成功能，如不能有效管控，将被极端势力、恐怖分子利用于获取相关知识，以及设计、制造、合成、使用核生化导武器能力，导致现有管控体系失效，加剧世界各地区和平安全威胁。

三、应用衍生安全风险影响深远，社会环境和伦理安全问题亟待解决

人工智能应用的衍生影响正在逐步显现，社会和环境安全风险以及伦理安全风险已经成为不容忽视的重要问题。社会和环境安全风险主要表现为冲击劳动就业结构和挑战资源供需平衡。人工智能带来生产力、生产关系的大幅调整，加速重构传统经济结构，资本、技术与数据在经济活动中的地位全面提升，而劳动力要素的价值受到削弱，造成传统劳动力需求明显下降。人工智能发展中的算力设施无序建设、轻量模型碎片化部署、同质化模型低效重复开发等问题，加速电力、土地、水等能源资源消耗，对资源供需平衡、绿色低碳发展带来新的挑战。据相关研究预测，到2025年，人工智能数据中心的能耗可能占全球总用电量的10%以上，这将对全球能源供应和碳排放目标产生重大影响。

伦理安全风险则更加复杂和深远，包括加剧社会偏见和扩大智能鸿沟、冲击教育和抑制创新、加剧科研伦理风险、拟人化交互的沉迷依赖、挑战现行社会秩序以及"自我意识"觉醒和脱离人类控制等问题。利用人工智能收集分析人类行为、社会地位、经济状态、个体性格等，对不同人群进行标识分类、区别对待，带来系统性、结构性的社会歧视与偏见。同时，拉大不同地区人工智能鸿沟，发达国家和发展中国家在人工智能技术获取和应用能力方面的差距正在扩大，这可能加剧全球不平等现象。

学生及科研、工程技术、文学艺术工作者将人工智能工具广泛应用于知识学习、科学研究、创意创作等工作，在提升效率的同时，可能产生工具依赖，自主学习、研究、创作能力退化，创新潜力减弱。"人工智能+科研"降低生物、基因等高伦理风险科研领域的进入门槛，拓宽了普通科研机构、人员探索敏感科学问题的边界，个别科研伦理意识不强的机构、人员可能开展违背社会伦理、社会禁忌的高风险研究活动，打开科技"魔盒"。基于拟人化交互的人工智能产品，导致用户对其产生情感依赖，进而影响用户行为，造成社会伦理风险。人工智能发展及应用，带来生产工具、生产关系的大幅改变，加速重构传统行业模式，颠覆传统的就业观、生育观、教育观，挑战传统社会秩序。未来，不排除人工智能出现突发的、超预期的智能化水平"跃迁"，自主获取外部资源、自我复制，产生自我意识，寻求外部权力，带来谋求与人类争夺控制权的风险，这虽然属于远期风险，但必须从现在开始就加以防范。

四、综合治理措施逐步完善，技术与管理双轮驱动成为主流趋势

面对复杂多元的人工智能安全风险，单一的技术或管理手段已难以有效应对，需要采取技术与管理相结合的综合治理措施。《人工智能安全治理框架》2.0版提出了14个方面的综合治理措施，涵盖了法律法规、伦理准则、生命周期安全、开源生态、分类分级管理、内容追溯、行业应用、测评体系、信息共享、数据保护、国际共识、人才培养、社会意识和国际合作等多个维度。

建立健全人工智能安全法律法规是基础性工作。需要推动人工智能安全相关立法，完善基础设施安全防护、分级分类监管、人工智能安全测评、最终用途管理、重点场景安全应用等制度。鼓励地方结合产业发展实践，差异化探索创新制度设计。构建人工智能科技伦理准则也至关重要，需要制定有广泛共识的人工智能科技伦理准则、规范和指南，对在生命健康、人格尊严、劳动就业、生态环境、可持续发展等方面存在突出伦理风险的人工智能科学研究、技术开发等活动，规范有序开展伦理审查。

提升研发应用全生命周期安全能力是技术层面的核心要求。需要持续提升算法可靠性、可信度、透明度、容错机制、隐私保护、价值观对齐等内生安全能力，利用对抗测试等技术评估改进模型鲁棒性，降低模型算法潜在偏见，确保价值观、伦理风险可控，避免人工智能系统意外决策产生恶意行为。强化开源生态安全和供应链安全同样重要，在培育发展开源创新生态的同时，同步提升开源生态安全能力。鼓励支持训练推理框架、软件工具、关键组件、评测基准等全方位的人工智能技术开源，进一步提高开源模型透明度。

实施应用分类及安全风险分级管理是精准施策的关键。根据功能、性能、应用场景等，对人工智能应用进行分类。在此基础上，探索提出具有共识的安全风险分级原则，从应用场景、智能化水平、应用规模等维度入手，对安全风险进行科学评价分级，进而采取针对性、差异化安全防范措施。推广人工智能生成合成内容可追溯管理是应对信息内容风险的有效手段，需要在全球范围内推广基于内容标识的人工智能生成合成内容溯源管理范式，按照显式、隐式等标识要求，全面覆盖制作源头、传播路径、分发渠道等关键环节，便于浏览用户识别判断信息来源及真实性。

建设人工智能安全测评体系为风险管理提供技术支持。需要构建模型算法安全测评、应用通用安全测评、具体场景安全测评相衔接的人工智能安全测评体系。模型算法测评聚焦模型鲁棒性、可靠性、准确性、抗干扰能力、决策逻辑透明度、对抗攻击防御能力等内生安全能力和风险。应用通用测评针对普遍使用的人工智能应用风险开展测试分析评估。具体场景安全测评结合应用场景具体情况评估满足应用需求的能力，以及应用运行和服务过程中的安全风险。

共享人工智能安全风险威胁信息是实现协同治理的重要途径。需要跟踪分析人工智能技术、产品、服务安全漏洞、缺陷、风险威胁、安全事件信息，建设人工智能漏洞信息库，建立覆盖研发者、服务提供者、专业技术机构的风险威胁信息共享机制。推进人工智能安全风险威胁信息共享的国际交流合作，探索建立相关国际合作机制和技术标准，协同防范应对人工智能安全风险大跨域、大规模扩散传播。

在国际合作方面，需要坚持践行多边主义，推动共商共建共享的人工智能全球治理观。支持联合国发挥主渠道作用，深入参与联合国国际人工智能科学小组和全球人工智能治理对话机制。推进APEC、G20、上合组织、金砖国家等多边机制下的人工智能治理进程，加强与"一带一路"国家、"全球南方"国家合作，增强发展中国家在人工智能全球治理中的代表性和发言权，推进《人工智能全球治理行动计划》。这种全球协同治理的模式正在成为国际社会的共识，只有通过国际合作，才能有效应对人工智能带来的全球性挑战。

以上就是关于2024年人工智能安全治理的分析，从技术内生风险、应用风险、衍生风险到综合治理措施，人工智能安全治理已经形成一个系统化的框架体系。随着技术的不断发展和应用场景的拓展，人工智能安全治理也将持续演进，需要政府、企业、科研机构和公众的共同参与和努力，才能确保人工智能技术安全可靠地造福人类社会。