联邦学习应用安全学界研究现状及发展建议分析

偏重于恶意安全环境下的安全研究。

相较于联邦学习在工业界的应用，学界的研究更具有前瞻性。在研究对象上，工业界的实践主要以 toB 的联邦学习应用为主，学界则更加关注性能、安全等方面技术要求更高的toC 联邦学习应用。相应的，在安全方面，研究也更偏重于与toC 场景安全要求相适配的恶意环境下的安全攻防。目前，安全研究可大致分为三大类：投毒攻击、对抗攻击与合谋攻击的相关研究。投毒攻击是指联邦学习中的恶意的参与方对训练集进行恶意操纵，例如向训练集中插入精心制作的恶意样本，从而改变训练数据的分布，以达到破坏训练过程或结果的目的，其种类包括了数据投毒、模型投毒、后门投毒等。在存在多方训练集参与的联邦学习中，相较集中式机器学习，攻击面更大，威胁更甚。学界提出了基于数据清洗、异常性探测等防御方法，以针对投毒攻击进行防御。这些基于攻击检测的方法存在一定的误报或漏报，提高攻击发现的准确率是未来研究的重点方向。

对抗攻击是指联邦学习中的恶意参与方对输入样本添加一些难以察觉的细微干扰，导致全局模型以高置信度给出一个错误的输出，通过这种干扰，恶意参与方可在联邦学习中发动无形的对抗攻击，其他参与方无法提前预判对抗攻击的时机和方式。对抗攻击具有较强的隐蔽性，对此，学界提出了防御蒸馏、梯度正则化等防御方法。这些方法旨在提高模型的泛化能力，取得了良好的防御效果。合谋攻击指的是多个联邦学习的恶意参与方相互掩饰联合破坏联邦学习的过程与结果。恶意参与方可利用自身资源为其他恶意参与方提供攻击便利，从而对联邦学习计算、通信等多个层面进行破坏，具有较强的破化性。为应对该攻击，学界提出了收敛异常检测、指纹嵌入等防御手段。这些防御手段多偏重于对合谋攻击的发现和攻击者的识别，如何提高识别的准确率并实时阻断依然是学界面临的严峻挑战。

联邦学习应用的性能与安全存在着相互制约的关系，性能优化技术的进步可以为更强的安全措施提供计算资源上的冗余，因此如何优化联邦学习的性能一直是学界的研究热点。影响联邦学习性能的主要因素包括通信性能和运算性能，其中，通信效率低是现阶段制约联邦学习发展最严重的问题。学界主要以如下几个思路开展研究，一是通过减少全局模型训练的迭代轮数，从而优化通信的效率。例如，进行更多的本地模型参数更新等，这种方式减少了各客户端节点向中央服务器通信的次数，但未解决单次迭代导致的信道拥堵问题。二是使用参数的压缩技术，例如对梯度、模型参数进行量化与稀疏化等，这种方式减少交互信息的长度，但可能会损失一定的训练精度。三是采用分散式的拓扑结构，例如，去中心化拓扑、分层式拓扑等，这种方式能够减少客户端节点与中央服务器的高交互开销，解决了各节点与中央服务器的信道拥堵问题。

联邦学习应用安全发展建议：(一) 加速联邦学习应用安全的标准化建设在联邦学习应用于各行业已有初步实践的背景下，尽快健全联邦学习应用安全相关标准。 一是出台基于行业细分的联邦学习应用安全技术类标准。当下联邦学习技术已在金融、电信、互联网、能源等多个行业得到了应用，一方面针对联邦学习应用相对较成熟的行业，出台本行业的技术安全应用的要求和规范类标准，帮助行业内企业把控联邦学习应用的安全尺度；另一方面，针对尚处于联邦学习应用探索阶段的行业，出台本行业的联邦学习安全方面的指南和方法类标准文件，以指导行业内企业搭建具备该行业特征的安全联邦学习应用。二是出台联邦学习应用安全部署、运营的规范类标准。以标准化的方式来解决联邦学习应用在部署、运营环节所面临的诸多问题，例如，联邦学习的协调方程序应在何处部署、如何确保担任协调方角色的第三方诚实可信、系统平台的用户域与运维域该如何进行隔离、产品应用在物理机环境或云环境下部署的安全要求是否相同等等。为进一步推动联邦学习技术的深化落地提供有力保障。三是建立联邦学习应用的安全评估制度。一方面，针对联邦学习产品，建立产品安全性评估制度，检验其技术实现是否合乎产品的安全性标准。另一方面，针对联邦学习应用方的部署环境安全、运营管理安全等方面，建立相应的评估制度，检验联邦学习在部署、运营环节是否存在安全风险，评估结果存档并作为监督检查的依据。

(二) 加强联邦学习应用安全的研究联邦学习是新兴技术，其应用虽已得到初步实践，但安全方面仍存在待优化的问题，相关研究仍然具有高价值。一是加强联邦学习应用的审计技术研究。一方面是针对联邦学习应用的自动化审计技术进行探索，从而解决现实中审计相关工作严重依赖人工，审计效率低下，且审计过程受人的主观性影响较大的问题。另一方面，要研制通用性的联邦学习应用审计工具，解决因各类联邦学习应用的技术异构性导致普通审计手段不能适配各类异构应用的问题。审计技术的突破将为企业自查、第三方检验、政府监管扫除技术障碍，从而推动联邦学习应用的健康发展。二是探索联邦学习与新技术的融合应用。推进联邦学习与新型硬件、算力网络等新型算力技术的结合，有利于提高联邦学习的性能表现，从而缓解联邦学习应用中性能与安全的矛盾，进一步提高联邦学习的实用性。因此研究联邦学习与新技术的融合应用具有重大现实意义。 三是加强恶意环境下联邦学习应用的安全攻防的研究。恶意环境下安全研究尚不足以支撑当下的现实应用，是跨设备联邦学习应用难以落地的原因之一。在此方面的突破将有助于拓展联邦学习的应用场景，使联邦学习应用下沉到对安全要求更高的toC场景，对隐私计算的大规模应用有着促进的作用。

(三) 推动联邦学习应用安全的基础设施建设加强基础设施建设对联邦学习应用的夯实地基、稳固发展有着重要意义。 一是推动区块链基础设施在联邦学习中的应用。区块链作为一种去中心化信息基础设施，可为联邦学习应用提供安全的身份管理、多方数据的一致性保障，其内容不可篡改特性也可为联邦学习应用提供优良的安全存证、审计平台。 二是推动建立可靠的“第三方”设施。多数联邦学习应用依赖协调方程序，这些程序需要部署于第三方。但在很多情况下各机构出于对数据安全的担忧，而找不到合适的第三方。此时由行业协会、高校、科研院所、数交所等中立或权威机构按照法律法规建立可靠的“第三方”设施，则在一定程度上可缓解联邦学习参与方的担忧，减少联邦学习应用在发展上的障碍。