人工智能的黑暗面：对抗性威胁暴露

最近 报告 发现安全官员的目标与他们保护 AI 和 MLOps 的活动不符。

许多 IT 高管（97%）认为保护人工智能和维护系统至关重要，但只有 61% 的人确信他们会收到所需的资金。尽管 77% 的受访 IT 领导者经历过与 AI 相关的漏洞（不是特别针对模型），但只有 30% 的受访者在其现有的 AI 开发（包括 MLOps 管道）中包含了针对对抗性攻击的手动防御。 

只有 14% 正在准备或测试此类攻击。 多播 被 Amazon Web Services 定义为“一组自动化和简化机器学习 (ML) 工作流程和部署的实践”。

IT 高管越来越依赖人工智能模型，这使得它们成为各种威胁性人工智能攻击的有吸引力的目标。 

IT 领导者的组织平均有 1,689 个正在生产的模型，其中 98% 的人认为他们的某些 AI 模型对其成功至关重要。百分之八十三的受访者表示其组织中的所有团队都广泛采用。该报告的专家写道：“该行业正在努力加速人工智能的采用，但没有采取适当的财产安全措施。”

HiddenLayer 的 AI 威胁格局 报告深入分析了基于人工智能的系统面临的威胁，以及保护人工智能和 MLOps 管道的进展。

定义对抗性人工智能

对抗性人工智能的目标是故意误导人工智能和机器学习（ML）系统，使它们对于其构建目的而言毫无价值。 对抗性人工智能 被定义为“使用人工智能技术来操纵或欺骗人工智能系统”。这就像一个精明的棋手利用了对手的弱点。这些聪明的对手可能会通过采用复杂的算法和策略来避免检测并执行有针对性的攻击，从而击败典型的网络防御系统。

HiddenLayer 的研究建立了三种主要的对抗性 AI，如下所述：

对抗性机器学习攻击。 这种形式的攻击旨在利用算法中的弱点，其目的包括影响大型人工智能应用程序或系统的行为、逃避基于人工智能的检测和响应系统的检测或窃取底层技术。民族国家为了经济和政治优势而从事间谍活动，试图对模型进行逆向工程以获取模型数据，同时也将模型部署用于其目的。

来自生成人工智能系统的攻击。 这些攻击通常针对保护生成式 AI 模型所需的过滤器、护栏和限制，包括它们所依赖的所有数据源和大型语言模型 (LLM)。据 VentureBeat 报道，民族国家的攻击继续使用法学硕士作为武器。

攻击者认为，绕过内容限制以自由生成模型本来会阻止的禁止材料（例如深度伪造、欺骗和其他形式的破坏性数字媒体）是标准做法。民族国家越来越多地利用人工智能系统攻击来影响美国和世界各地的其他民主选举。根据 美国情报界2024年度威胁评估, “中国在其影响力活动中表现出更高程度的复杂性，包括尝试生成人工智能”，并且“中华人民共和国（PRC）可能会试图在某种程度上影响 2024 年的美国大选，因为它希望将批评者排除在外”并放大了美国的社会分歧。”

MLOps 和软件供应链攻击。这些通常是民族国家和大型电子犯罪集团的行动，重点是关闭用于设计和部署人工智能系统的框架、网络和平台。攻击策略包括攻击 MLOps 管道组件，将恶意代码注入人工智能系统。中毒数据集是通过软件包、任意代码执行和恶意软件分发方法提供的。    

防御对抗性人工智能攻击的四种方法

DevOps 和 CI/CD 管道之间的差距越大，AI 和 ML 模型开发就越容易受到攻击。保护模型仍然是一个难以捉摸、不断变化的目标，而新一代人工智能的武器化使这一目标变得更加困难。

然而，这些只是组织为保护自己免受人工智能攻击而可能采取的众多行动中的一小部分。它们包括以下内容：

让红队和风险评估成为您组织的肌肉记忆或 DNA 的一部分。 不要偶尔接受红队，或者更糟糕的是，当攻击引起新的紧迫感和意识时。红队必须成为任何支持未来 MLOps 的 DevSecOps DNA 的一部分。目标是提前发现系统和管道缺陷，并对 MLOps 系统开发生命周期 (SDLC) 过程中出现的任何攻击向量进行优先级排序和强化。

保持更新并实施对您的组织最有效的人工智能防御架构。 让 DevSecOps 团队的成员随时了解当今可用的许多保护框架的最新情况。了解哪一种最能满足组织的需求可能有助于确保 MLOps、节省时间并保护整个 SDLC 和 CI/CD 管道。示例包括 NIST AI 风险管理框架和 OWASP AI 安全和隐私指南。

将生物识别模式和无密码身份验证机制集成到每个身份访问管理系统中，以降低基于合成数据的攻击的风险。 VentureBeat 发现合成数据越来越多地被用来冒充人类并获取源代码和模型存储库。考虑将人脸识别、指纹扫描和语音识别等生物识别模式与无密码访问技术相结合，以保护整个 MLOps 中的系统。 Gen AI 已经展示了其协助创建合成数据的能力。 MLOps 团队将越来越多地面临深度造假风险，因此保护访问的分层策略很快就变得至关重要。 

对验证系统进行随机和频繁的审核，以保持当前的访问权限。随着合成身份攻击成为最难预防的危险之一，保持验证系统最新的修复并对其进行审核非常重要。据 VentureBeat 称，下一波身份攻击将严重依赖聚合后与真实数据相似的虚假数据。

资源- VentureBeat的