人工智能隐私保护技术有哪些？

以下是我对人工智能隐私保护技术的梳理总结。

1.人工智能隐私保护管控技术

权限管理是根据预设的规则或者策略限制用户访问被授权的资源，可以保护系统安全和数据完整性。访问控制是一种确保数据处理系统的资源只能由经授权实体以授权方式进行访问的手段。对人工智能系统实施访问和使用权限控制机制，只有授权人员可以访问和使用特定的数据，可以确保人工智能数据与模型的隐私与安全。分类分级保护可以理清楚保护需求及重点，并针对不同等级，采取相应的保护措施。这种精细化的、分级化的管控手段，有助于降低系统隐私泄露带来的负面影响。智能化程度越高的人工智能应用，数据隐私风险越高。因此，可以根据人工智能应用场景和功能，对人工智能应用进行分类分级，然后定制差异化的人工智能隐私保护机制。例如，针对初级的基于人工智能技术的数据分析，可按权限申请数据调取和共享，保证数据可信共享。针对智能化程度更高的生成式人工智能应用，可采用可溯源的解决方案，应对图片、视频等生成内容进行标识，发现违法内容及时采取处置措施等。

2.人工智能隐私保护数据加密技术

差分隐私（Differential Privacy）是一种数据匿名化技术，其最早是针对统计数据库的隐私泄露问题提出的一种隐私定义。该定义要求数据集的计算处理结果对于具体某记录的变化是不敏感的，即攻击者无法通过观察计算结果来获取准确的个体信息。差分隐私保护技术通过添加噪声使敏感数据失真但同时保持某些数据或数据属性不变，来保证处理后的数据仍然可以保持某些统计方面的性质，以便进行数据挖掘等操作。Laplace 机制和指数机制是两种基础的差分隐私保护实现机制，分别适用于对数值型结果的保护和对非数值型结果的保护。近年来，基于机器学习的数据发布和数据挖掘技术成为热点研究方向。为了保护机器学习应用中的用户数据隐私，研究者将差分隐私技术和机器学习算法结合，提出了基于差分隐私的机器学习隐私保护方案，主要包括基于输入扰动的隐私保护方案、基于中间参数扰动的隐私保护方案、基于目标扰动的隐私保护方案和基于输出扰动的隐私保护方案。机器学习中部署差分隐私技术时仅需要通过随机化和利用随机噪声扰动数据，因此并不会带来过多额外的计算开销。

同态加密（Homomorphic Encryption）是一种加密形式，允许用户直接对密文进行特定的代数运算，得到的数据仍是加密的结果，且与对明文进行同样的操作再将结果加密一样。同态加密技术最早用于对统计数据进行加密，由算法的同态性保证了用户可以对敏感数据进行操作但又不泄露数据信息。同态加密可以进一步分为部分同态加密、稍微同态加密和全同态加密。其中，部分同态加密技术仅支持对密文进行部分形式的计算，以 BGN 算法为代表的稍微同态加密支持有限次数的计算，全同态加密则可以对密文进行无限次数的任意同态操作。在机器学习领域，为了实现用户数据机密性，需要结合加密技术对数据进行保护。但传统的密码学方法计算复杂性非常大，而全同态加密由于允许在加密数据上执行任意操作且无需解密，在计算成本上优势明显。基于同态加密的机器学习隐私保护方案分为无需多项式近似的同态加密隐私保护方案和基于多项式近似的同态加密隐私保护方案。

多方安全计算（Secure Multi-Party Computation，MPC）是图灵奖得主姚期智教授于 1982 年提出的一个密码概念，能够在加密值上进行计算。通过使用 MPC，多个数据库可以联手做计算，却又不透漏各自的数据。MPC 主要基于混淆电路、密密分享与不经意传输技术，汇聚多方数据，以实现高质量的学习，同时能保证各方数据隐私。目前，MPC 对金融科技、生物识别、医疗、保险等AI 应用中非常有用。例如，在金融科技领域，可以应用安全多方计算，实现跨实体欺诈分析，实现数据的安全处理和共享。对于已有的生物识别系统，可以应用安全多方计算，使得生物特征在密文状态下进行计算，并将最终结果恢复成明文，从而包含原始生物特征的隐私与安全。

3.人工智能隐私保护攻击防御技术

针对人工智能模型训练和推理阶段面临的数据与模型隐私安全风险，研究者根据不同的攻击类型提出了相应的防御措施。针对数据投毒攻击的防御，一般考虑通过鲁棒性机器学习和数据清洗来改变正常训练数据的分布。针对成员推理攻击的防御，研究人员发现通过在模型中添加正则项或者使用 model stacking 可以显著减少成员推理攻击。针对模型逆向攻击的防御，常见的方式是利用差分隐私技术来实现对数据的隐私保护，也有研究者提出利用联邦学习建立虚拟共有模型进行多方共同训练，从而降低本地训练数据泄露的风险。针对模型提取攻击的防御，一种最直接的方式是对模型参数或输出结构进行近似处理，也有研究者利用模型水印技术来保护模型数据的知识产权，降低模型被盗用的风险。针对对抗样本攻击的防御已经有较多方法：直接对抗训练是将对抗样本及正确标签重新输入到模型中进行重训练，梯度掩模通过隐藏梯度使基于梯度的对抗样本攻击失效，对抗样本检测即直接检测是否存在对抗样本。

近期，随着大语言模型的快速兴起和应用，研究者提出了提示攻击防御方法和生成内容检测过滤防御方法，预防大模型的提示攻击威胁和生成内容隐私泄露。对于提示注入攻击防御，一种简单直接的提示注入攻击防御策略就是将防御策略添加到指令中，增加指令的鲁棒性来强制执行期望的行为。常用的技术有调整提示位置、用特殊符号标识等。同时，研究者提出构建提示检测器对提示进行检测、分类或过滤，以防止敏感和有害的提示输入。目前，OpenAI 的ChatGPT、微软的 NewBing 等，都采用了这种防御策略。对于生成内容过滤防御，其目标是识别并避免输出隐私内容。生成内容检测方法主要包括构建规则集合的方法和构建审核模型的方法。通过这些方法先对输出内容进行检测和识别，再并根据检测识别结果进行隐私内容屏蔽和过滤，可以避免生成敏感信息和风险内容。

4.人工智能隐私保护新兴技术

近年来，研究者提出了一些新兴的隐私保护技术，如联邦学习技术、区块链技术、可信执行环境、机器遗忘技术、模型数字水印技术等，这些技术由于其创新性和实用性，吸引了学术界和产业界的极大关注。 联邦学习（Federated Learning）由Google 在2016 年提出，是一种多个参与方在不交互数据的情况下，通过安全机制交互模型参数信息或者梯度信息，从而达到协同训练效果的分布式机器学习方法。与传统的集中式存储与训练模型相比，联邦学习具有“去中心化”的特点，可以实现数据隐私保护与数据共享分析的平衡，实现“数据可用不可见”。常用的联邦学习技术按照数据集合维度可以分为三大类，包括横向联邦学习、纵向联邦学习和联邦迁移学习，其中代表算法和架构有 FedAvg 算法，微众银行的 FATE 架构。目前联邦学习技术被Facebook、亚马逊、苹果等科技公司广泛使用，国内金融科技企业和高校也在发力数据隐私安全技术，第四范式公司也将迁移学习算法应用到公司核心产品“先知”平台，并在医疗领域实现落地应用。在通信领域，可以利用联邦学习和各网络设备的数据联合训练模型，优化网络站点规划，另外还可以催生以通信运营商为中心的跨领域生态合作。

联邦学习与多方安全计算有些类似，都可以保障多参与协作时的数据隐私，但联邦学习作为新兴的隐私保护范式，面向机器学习模型，通过原始数据在本地训练模型，只交互模型的中间计算结果，实现“数据可用、不可见”、“数据不动、模型动”，而多方安全计算面向数据，通过构建一系列基础运算操作，将多方原始数据转换为密文后实现流动和协同计算。

区块链（Blockchain）是随着数字加密货币而逐渐兴起的一种去中心化的分布式存储架构与计算范式。区块链按照时间顺序将数据区块以顺序连接的方式形成一种链式的、分布式数据结构，每个区块头保存前一个区块的哈希地址以保证各个区块相连。区块链通过共识协议在分布式节点上生成和同步数据，保证数据存储的一致性，利用密码学手段保证了数据不可篡改和不可伪造，借助可编程脚本实现合约条款的自动执行和数据操作。通过综合运用数据加密、时间戳、分布式共识、P2P 通信和经济激励等手段，区块链突破了传统中心式架构的缺陷，具有去中心化、去信任化和防篡改的安全特性。在数据隐私保护方面，区块链能够有效避免中心化平台产生的隐私泄露风险；在数据存储方面，能够实现不可篡改、不可删除伪造的数据存储安全。与此同时，区块链技术可以为人工智能提供大量的数据，还可以将人工智能模型在基于区块链的平台上运行、存储和共享，创造一种更加安全、透明和可信的去中心化人工智能。区块链为数据隐私与安全、网络安全、人工智能安全等问题提供了解决方案。

可信执行环境（Trusted Execution Environment，TEE）是一种新兴的系统安全与隐私保护技术，该技术从底层硬件和操作系统开始出发，提供一个隔离的运行环境，保护代码和数据不被攻击者攻击。其工作原理分为以下几个步骤：隔离、加密、完整性检查和远程认证。TEE 在处理器内部创建一个独立的执行环境，与其他应用程序和操作系统隔离，通过硬件加密技术来保护数据和代码的安全，通过完整性检查来确保代码和数据在执行过程中没有被篡改。TEE 还支持远程认证，允许用户通过安全通道验证 TEE 的真实性和完整性。将TEE与人工智能系统融合，有助于更好地保障模型训练和推理过程中的保密性。训练阶段，TEE 中的数据处理都处于加密状态；推理阶段，TEE则可保护用户输入和模型结果的隐私。同时，其硬件隔离和安全验证机制可以更有效地防止未经授权的访问和攻击，增强模型运行时的安全性。

机器遗忘（Machine Unlearning）技术可以从训练数据集和已训练的模型中完全且快速地移除样本及其影响。出于隐私、法规和法律的需要，有些特定样本的信息需要从模型中移除，在移除这些样本的同时还需要从已经训练过的模型中删除这些样本的影响。这是因为成员推理攻击和模型逆向攻击可以揭示关于训练数据集特定内容的信息。更重要的是，一些立法要求强制删除私人信息。目前两种主流的遗忘方法是数据重组和模型操作。数据重组聚焦于修改训练数据、重新训练模型，考虑到模型重新训练的开销，这类方法往往会加入一些剪枝策略来减小重训练的成本。而模型操作则通过直接调整模型的参数，消除遗忘数据对于模型的影响。模型操作的遗忘速度更快但遗忘效果有效，数据重组的遗忘效果较好但遗忘速度较慢。

模型数字水印（Digital Watermarking）技术可以保护数据和模型隐私、以及模型知识产权。机器学习和人工智能模型在各个行业、各个领域中发挥着越来越重要的作用，特别是预训练大模型，具有极高的商业价值，模型的保密性和知识产权保护也越来越受到关注，模型溯源和模型版权保护的需求日益渐起。研究人员发现，可以在模型训练阶段向模型植入一系列秘密信息达到给模型添加“水印”的目的。当从可疑模型中提取相同或者相似的水印时，就可以验证模型的所有权。目前，水印技术主要分为两类：一种是将水印直接嵌入模型权重参数中，另一种是在模型预测信息中嵌入水印。