AI组织责任：核心安全责任

《AI组织责任：核心安全责任》是由云安全联盟大中华区发布的一份报告，本白皮书通过概述这些在安全和合规领域的关键建议，使得企业能在安全和负 责的进行人工智能设计、开发和部署中肩负起应有的责任。

一、 将数据安全和隐私纳入人工智能训练

人工智能正在从以复杂模型为中心的方法转向以数据为中心的方式。人工智能 现在不再主要依赖于在小数据集上训练的复杂模型，而是利用海量数据集和开放式 数据流。然而，这种以数据为中心的模式也引发了人们对数据隐私、安全、偏见和 适当使用的合理担忧，人工智能社区必须负责任地解决这些问题。数据正在改变人 工智能，但我们必须确保它是合乎道理理念和受控的。

以下部分讨论了与确保人工智能组织中培训数据的安全性和隐私性相关的重要 类别。这些类别包括数据真实性、匿名/假名化、数据最小化、数据访问控制和安 全存储与传输。每个类别都通过可量化的评估标准、通过 RACI 模型明确界定的责 任、高级实施策略、持续监控和报告机制、访问控制映射以及基于行业最佳实践的 基本框架进行了彻底分析。这种全面的方法确保了一个结构化、负责任和高效的框 架，用于管理推动人工智能进步的重要资产，同时也符合道德要求和卓越运营。

1.1 数据真实性和许可管理

AI 中的数据真实性是指保证用于训练、测试和部署 AI 模型的数据是真实、准 确和可靠的。这是关于验证数据没有被篡改或更改，以免误导人工智能算法或导致 不准确、有偏见或不可靠的模型输出。 确保数据真实性至关重要，因为 AI 模型严重依赖数据质量和完整性。如果数 据不真实或被操纵，模型可能会学习不正确的模式，导致性能不佳，并可能基于这 些预测做出不正确的决策。数据真实性在基于 AI 模型的决策对各个行业产生重大 24 影响的领域尤为重要，例如教育、医疗保健、金融服务、零售、制造、政府服务和 网络安全。

此外，在为人工智能应用程序收集和处理个人数据时，必须获得适当的数据同 意并遵守《通用数据保护条例》（GDPR）等法规。GDPR 要求组织在收集和处理个 人数据之前获得个人的明确同意，并赋予个人访问、更正和删除其数据的权利。

1.2 匿名化和假名化

匿名化和假名化在值得信赖的人工智能系统中保护个人数据隐私，如下所示： 匿名化永久地从数据中删除标识符，这使得重新识别个人身份变为不可能， 有助于遵守数据保护法，在许多情况下，例如根据 GDPR，甚至可以将匿名 数据排除在数据保护法规的范围之外。  假名化将标识符替换为系统生成的标识符或人工标识符假名。个人仍然与他 们的数据保持联系，但真实身份受到保护。根据某些数据保护法规，如 GDPR 和 HIPAA，假名化是一项要求。

评估标准：目标是通过以下方式将可识别的个人数据减少 99%匿名化和假名 化技术。区分直接标识符（如全名、SSN 和信用卡号）和准标识符非常重 要。直接标识符需要更严格的减少措施，因为能够使用它们来高度确定地识 别个人。此外，信用卡号等直接标识符可能导致盗窃，而 SSN 等标识符可能 导致身份盗窃。准标识符（年龄、邮政编码和性别）虽然对隐私很重要， 但可以进行不太严格的削减，以确保数据保护和可用性之间的平衡。也就 是说，许多准标识符可能会在人工智能中引发偏见（例如，年龄、地点、 性别、种族、性取向）。此外，某些准标识符可能属于特殊类别的个人数据，需要 特别谨慎，包括宗教信仰、政治派别、性取向和种族血统。准标识符也可 能被组合起来重新识别一个人。虽然准标识符对于人工智能系统的可用性 和功能至关重要，特别是在医疗保健或营销等领域，但它们存在重新识别 的风险。当不同的数据集被组合在一起时，即使它们被匿名或假名化，这 些准标识符也可能被对齐以重新识别个人。例如包含匿名医疗记录的数据 集可以与公开可用的数据集相结合，如选民登记记录。如果两个数据集都包 含详细的人口统计信息，则有可能基于这些准标识符匹配记录，从而重新 识别匿名数据集中的个人。为了降低这种风险，需要采取平衡的方法。不 断评估重新识别的风险至关重要，尤其是随着数据处理技术的发展和变得 更加复杂。采用例如差分隐私等先进技术，在数据中添加统计噪声以防止 重新识别，可以进一步加强隐私保护。此外，定期审计和合规检查对于确 26 保数据匿名化和假名化过程与不断发展的数据保护法律法规保持一致至关 重要。

RACI 模型：数据保管人（执行）、数据保护官（咨询）、首席隐私官主管 （负责）、法律团队（咨询）、IT 团队（告知）、安全团队（咨询）、数据治 理团队（咨询）和数据专家（告知）。高级实施策略：实施最先进的匿名化和假名化技术涉及利用先进的加密方 法，如差分隐私、同态加密和安全多方计算来保护敏感数据，同时保持其 分析效用。例如，公司可以采用“K-匿名性”、“L-多样性”和“T-封闭性” 等技术来确保个人身份隐藏在数据集中，同时仍然允许进行有意义的分 析。此外，可以采用标记化和数据屏蔽等技术，用不敏感的等效数据替换 敏感数据，进一步加强隐私保护。

二、 模型安全

模型安全是一项多方面的任务，包括各种各样的组件。这些包括对模型 API 的 访问控制、身份验证和授权框架、速率限制、模型生命周期管理、安全的模型运行 环境、基于硬件的安全功能、网络安全控制、操作系统强化和安全配置、容器和云 环境中的安全。我们应该探索这些关键领域中的每一个评估标准，使用 RACI 模型 分配责任，依据高级实施策略，建立持续监控和报告机制，建立访问控制列表，并 参考 NIST AI RMF、NIST SSDF、NIST 800-53 和 CSA CCM 等标准中的基础框架。

2.1 模型访问控制

访问控制在保护 AI 模型和确保只有授权人员和系统与敏感数据和功能交互方 面至关重要。在 AI 模型治理领域，访问控制措施必须稳定、适应性强，并与组织 和行业安全标准保持一致。 从身份验证和授权，到速率限制和生命周期管理，AI 模型的完整性取决于强 大而灵活的访问控制协议。这些协议规定了谁可以访问 AI 模型，何时可以访问， 以及在什么情况下可以访问。随着组织应对人工智能部署的复杂性，实施全面的访 问控制策略。对于降低风险、保护知识产权和维护监管合规标准变得势在必行。此 30 外，我们强调将 AI 模型访问控制与组织现有的安全框架相结合，以增强整体系统 的可扩展性。这涉及细化访问策略，规定谁可以与 AI 模型交互以及在什么情况下 交互。此外，实施强身份验证机制，如多因素身份验证和基于角色的访问控制，可 以进一步加强人工智能系统的安全。定期审计和监控访问日志对于及时发现和应对 任何未经授权的访问尝试至关重要。通过将 AI 模型访问控制与现有安全框架紧密 结合，组织可以加强对网络威胁的防御，并确保其人工智能系统和数据的完整性和 机密性。

2.2 安全的模型运行环境

为安全的 AI 模型运行环境构建能够具有伸缩性的系统需要融合强大的硬件、 网络和软件安全控制，以保护人工智能部署免受不断变化的威胁为首要重点，组织 应该精心设计和增强其运行的环境，以维护其完整性、机密性和可用性。在可信执 行环境中，基于硬件的安全功能从防火墙到局域网隔离等网络安全控制，每个组件 都错综复杂地融入了深度防御策略的结构中。依据 NIST AI RMF、NIST 800-53 和 CSA CCM 等行业标准，我们应进行团队的跨学科合作，协调实施、监控并管理这些 关键的安全措施。

三、 漏洞管理

人工智能漏洞管理是保护人工智能和机器学习系统的关键组成部分，确保它们 保持安全、功能和合规性。本节讨论此类别中的关键项目。

3.1AI/ML 资产盘点

AI/ML 资产清单系统的记录和更新 AI/ML 环境中的所有资产。这不仅包括模型 和数据集，还包括 API、算法、库以及在创建、培训和部署软件供应链的 AI/ML 组 件时使用的任何支持软件或工具。该清单清晰地展示了正在使用的资源，这对于识别潜在漏洞和有效管理风险至关重要。根据机器学习系统的不同，使用的资产清单 可以是模型卡、数据卡和模型注册表的格式。了解存在哪些资产以及它们是如何相 互关联的，对于识别潜在的漏洞至关重要。

3.2 持续漏洞扫描

持续漏洞扫描是指对所有 AI/ML 资产进行持续的检查，以识别安全漏洞。这包 括扫描模型、数据集、相关基础设施（过时的库或不安全的 API）以及 AI/ML 环境 中的任何其他组件。目标是检测可能被利用的漏洞，从而未雨绸缪，解决潜在的安 全问题。

3.3 风险的优先级

风险的优先级是根据系统潜在影响和被利用的可能性，对 AI/ML 资产中发现的 漏洞进行评估和排名。这一过程有助于组织将资源和精力集中在首先缓解最关键的 漏洞上，从而有效地降低其 AI/ML 系统的整体风险。

4.结论

本白皮书探讨了组织在开发和部署 AI 和机器学习系统时必须承担的核心安全 责任。阐述了一个全面的框架，通过关注数据安全、模型安全和漏洞管理，确保人 工智能系统在其整个生命周期中的安全性、隐私性和完整性。 在数据安全和隐私领域，本白皮书强调了数据真实性、匿名化、假名化、数据 最小化、访问控制以及安全存储和传输的重要性。这些措施对于保护敏感信息和遵 守数据保护法规至关重要。 关于模型安全，本白皮书讨论了访问控制、安全运行环境、漏洞和补丁管理、 MLOps 流水线安全、AI 模型治理和安全模型部署的意义。通过实施强有力的安全 控制和治理流程，组织可以降低与 AI 模型相关的风险，并确保其可靠和值得信赖 的运行。

漏洞管理是人工智能安全的另一个关键方面。本白皮书强调了维护 AI/ML 资产 清单、进行持续漏洞扫描、确定风险优先级、补救跟踪工作、处理异常和建立报告 指标的必要性。这些做法能够使组织主动识别和解决漏洞，最大限度地减少安全漏 洞问题的可能性，并确保人工智能系统的持续安全。 在整个白皮书中，通过使用可量化的评估标准、角色定义的 RACI 模型、高级 实施策略、持续监控和报告机制、访问控制映射以及根据行业最佳实践和标准（如 NIST AI RMF、NIST SSDF、NIST 800-53、CSA CCM 等）制定的基础框架，明确了各项 相关责任和标准。

通过采用本白皮书中概述的建议和最佳实践，组织可以为安全和负责任的人工 智能开发和部署奠定坚实的基础。然而，我们必须认识到，人工智能安全是一个持 续的过程，随着技术和威胁的发展，需要不断的监控、适应和改进。 随着组织为应对人工智能采用的复杂性措施，在包括管理层、技术团队、治理 机构和最终用户在内的所有利益相关者之间塑造安全协作的文化至关重要。通过共 67 同努力并遵守相关原则和实践，组织可以释放人工智能的变革潜力，同时确保所有 利益相关者的安全、隐私和信任。

编辑：999感冒灵