2024年网络安全行业趋势报告：十大趋势分析

由NSFOCUS发布了《2024年网络安全行业趋势报告：十大趋势分析》这篇报告。以下是对该报告的部分摘录，完整内容请获取原文查看。新兴的生成式AI攻击将加剧对独特提示内容的关注。多模态攻击方法和模型代理风险成为 新兴趋势。同时，AI应用的隐私安全挑战。

AI导向的攻击与防御一直是学术界的热点话题。针对LLM的攻击技术也在不断进步和复杂化，如模型逆向 工程、数据投毒攻击、模型盗窃等，这些都对LLM的可用性和机密性构成了严重威胁。自从LLM出现以来 ，它就面临着许多独特的风险，例如提示词注入、角色扮演、逆向诱导等新型攻击技术。目前，面对攻击 者不断变化的攻击策略，LLM威胁的检测和防御措施不足。到2023年，经典的DAN（Do Anything Now） 攻击已经出现，这种攻击通过精心设计的提示词诱使LLM执行任何动作，包括潜在的有风险行为。此外， 还存在一个“奶奶漏洞”，即AI系统通过角色扮演等手段被提示生成意外的响应。这些攻击针对自然语言的特 征，被称为“提示攻击”。结合传统攻击技术（如XSS攻击）的提示攻击也普遍存在。

LLM制造商实施的安保措施本身无法充分应对这些攻击。因此，有必要对LLM提示进行风险评估，并据此 在用户输入和模型输出端进行防御检测。同时，通过优化和提升服务模型侧的提示内容和文本结构，对逃 逸攻击、角色假设和提示泄露等攻击进行防御检测，从而有效提升防御能力。

多模态能力不仅为大型语言模型（LLM）应用带来各种商业机会，还带来了更多样化的攻击形式和安全隐 患。当多模态交互形式（如文本、图像、声音和视频）成为服务的正常形式时，攻击负载也具有更多形式 和复杂的组合模式，给组织的防御系统带来新的挑战。作为模型获取外部能力的关键技术，尽管为模型提 供图数据库操作、文件交互和命令执行等多种能力，但代理机制也可能以多模态形式被攻击者操纵，间接 控制模型代理，导致更广泛的攻击。多模态模型的安全性问题比单模态数据训练的模型更复杂，因此多模 态内容安全也是一个有价值的研究方向。

当人们使用LLM时，满足隐私合规并避免敏感或隐私数据泄露已成为重大的安全问题。目前，许多国家已 经颁布了关于隐私合规的法律和法规。例如，美国的数据利益相关者被要求采取一系列措施来保护用户隐 私和敏感信息，包括《格雷姆-里奇-布莱利法案》（GLBA）和《加利福尼亚消费者隐私法》（CCPA）； 欧洲联盟的《通用数据保护条例》（GDPR）、《英国数据保护法案》（DPA）等。然而，与此同时，由L LM引起的个人隐私和敏感数据泄露事件也开始发生。例如，三星员工使用ChatGPT泄露了机密数据，在其 推出后的20天内就发生了三个记录在案的事件。这促使公司内部开始考虑再次将其禁用。

因此，未来LLM应用将更加关注合规性，内置的隐私保护功能将进一步强化。这些保护措施包括但不限于 数据加密、脱敏、权限控制、匿名化和对用户数据的精细访问控制机制。通过提高安全性，AI服务提供商 可以获得竞争优势。安全供应商也可以推出相关的安全产品，以满足新兴的AI安全需求，并降低LLM及其 数据成为攻击目标的风险。

在2023年，智能安全运营技术变得极为竞争激烈。微软安全Copilot技术平台的预发布无疑启动了网络安全 LLM技术的竞赛。其他制造商如谷歌的Sec-PaLM和SentinelOne的Purple AI亦紧随其后。这为智能安全运 营技术提供了一个全新的交互和任务分析范式，并从分析、集成和协作的维度为升级经典网络安全AI技术 堆栈提供了巨大机遇。

通过对以微软安全 Copilot 为代表的 LLM 驱动的安全运营技术系统进行全面观察，我们可以看到基于 LLM 技术的生成式 AI 在安全运营领域展现出多项显著的技术优势，包括：

1) 安全知识语义增强。随着参数规模的指数级增长，LLM保留了“领域知识+常识”，这极大地缓解了数 据模式与安全语义之间的差距，这是困扰网络空间人工智能发展的一个核心问题。这是传统小型模型（ 如经典机器学习、深度学习、知识图谱以及LLM之外的其他技术）难以解决的问题。

2) 攻防领域分析逻辑得到提升。小型模型技术在统计分析问题上表现良好，其大部分能力在于拟合学 习。然而，网络安全领域中任务多样性和环境开放性导致经典的拟合学习能力受限且易衰减。基于大规 模参数基础和指令学习的核心框架，大型语言模型（LLM）已经具备了逻辑分析基础，以支持少样本和 零样本的学习场景。它可以高效地从海量数据中提取关键信息，形成深入洞察，并快速筛选出对安全操 作至关重要的数据。

3) 人类与计算机交互决策的提升。网络对抗的终极主题在于人类。LLM技术大幅提升了语言模型之间 的交互水平。安全团队通过基于自然语言的网络安全控制界面进行交互，这极大地降低了成本并提升了 用户体验。这对于在安全操作中分析具有复杂目标的数据、工具和文档等场景来说，是一场重大的技术 革命。具体来说，LLM可以极大地减少对高级安全分析专家的依赖，并在日常警报分类、攻击追踪和调 查、恶意软件分析、报告生成等方面显著提高高级威胁检测的准确性和自动化水平。

当然，大型语言模型（LLM）只是智能安全运营技术系统中核心能力之一。典型的安全分析能力，如统一 的去歧义数据图、完整的工具支持系统、专门的“小型模型”库以及支持协作调度的统一执行框架，仍然是发 挥LLM安全价值的关键基础。因此，将现有的安全分析能力整合形成智能辅助决策支持的核心能力，将是 未来由LLM驱动的“安全伙伴”的典型范式。

持续威胁暴露管理（CTEM）预计将成为2024年网络安全行业的热点，主要归因于其对全面安全风险状况 的理解和持续评估的能力。风险管理一直是网络安全领域的主题。每一个新的技术亮点或评估方法都吸引了行业的广泛关注。今天， 我们首先从攻击的角度分析漏洞的爆发和利用。

漏洞利用：根据NVD收集的公开漏洞数量，2023年新增了超过30,000个新的漏洞。然而，只有大约500个 高风险漏洞被发现已经存在成熟的利用手段。也就是说，只有1.9%的漏洞将直接且迅速地造成巨大风险， 而安全管理员将面临追踪、识别和修复超过30,000个漏洞的挑战。

组织能力：随着风险检测能力的提升，许多组织意识到全面资产管理与风险管理的投入产出比并不经济。 由于难以跨部门实施，资产和风险管理难以实现预期目标。

攻击格局：随着APT-as-a-service和Ransomware-as-a-Service的兴起，攻击格局变得更加复杂。在之前提 到的500多个漏洞中，25%在当天就被武器化了，剩余的75%武器化周期不足三周，这也给安全团队在发现 风险和及时修复方面带来了巨大挑战。