2024年网络安全行业趋势报告：十大趋势分析.pdf

2024年网络安全行业趋势报告：十大趋势分析。生成式人工智能（GAI）的蓬勃发展，尤其是以大型语言模型（LLM）为代表的关键技术突破，推动了新一 轮人工智能（AI）产业革命。Gartner 首次将“生成式网络安全AI”纳入《创新触发器》中。 安全运营2023 年炒作周期 人工智能和大型语言模型（LLM）的应用，以ChatGPT为代表，正逐渐渗透到各类组织的核 心场景中。然而，当前的LLM仍不够成熟。同时，随着其能力提升和应用拓展，潜在的安全漏洞和潜在危 险可能会导致更广泛和更严重的后果。

AI导向的攻击与防御一直是学术界的热点话题。针对LLM的攻击技术也在不断进步和复杂化，如模型逆向 工程、数据投毒攻击、模型盗窃等，这些都对LLM的可用性和机密性构成了严重威胁。自从LLM出现以来 ，它就面临着许多独特的风险，例如提示词注入、角色扮演、逆向诱导等新型攻击技术。目前，面对攻击 者不断变化的攻击策略，LLM威胁的检测和防御措施不足。到2023年，经典的DAN（Do Anything Now） 攻击已经出现，这种攻击通过精心设计的提示词诱使LLM执行任何动作，包括潜在的有风险行为。此外， 还存在一个“奶奶漏洞”，即AI系统通过角色扮演等手段被提示生成意外的响应。这些攻击针对自然语言的特 征，被称为“提示攻击”。结合传统攻击技术（如XSS攻击）的提示攻击也普遍存在。