AI のダークサイド: 明らかになる敵対的な脅威

最近の レポート セキュリティ当局の目的は、AI と MLOps を保護するという活動と一致していないことがわかりました。

97% という多数の IT 管理者は、AI の保護とシステムの保護が重要であると考えていますが、必要な資金を確実に受け取れると確信しているのはわずか 61% にすぎません。インタビューを受けた IT リーダーの 77% が AI 関連の侵害 (特にモデルへの侵害ではない) を経験していましたが、MLOps パイプラインを含む既存の AI 開発に敵対的攻撃に対する手動防御を組み込んでいたのはわずか 30% でした。 

このような攻撃の準備やテストを行っているのはわずか 14% です。 MLOps アマゾン ウェブ サービスによって、「機械学習 (ML) のワークフローとデプロイを自動化および簡素化する一連のプラクティス」として定義されています。

IT 幹部は AI モデルへの依存度を高めており、AI モデルはさまざまな脅威となる AI 攻撃の魅力的な標的となっています。 

IT リーダーの組織は平均 1,689 個のモデルを運用しており、98% が自社の AI モデルの一部が成功に不可欠であると考えています。 XNUMX% が、組織内のすべてのチームに広く採用されていると報告しています。 「業界は財産のセキュリティ対策を講じないまま、AI導入を加速させようと懸命に取り組んでいる」と報告書の専門家は書いている。

HiddenLayer の AI 脅威の状況 このレポートでは、AI ベースのシステムが直面する脅威と、AI および MLOps パイプラインの保護に関する開発についての詳細な分析が示されています。

敵対的 AI の定義

敵対的 AI の目的は、AI および機械学習 (ML) システムを意図的に誤解させ、構築された目的に対して価値のないものにすることです。 敵対的なAI 「AI システムを操作または欺くための人工知能技術の使用」と定義されます。それは、対戦相手の弱点を突く抜け目ないチェスのプレイヤーのようなものです。これらの賢い敵は、複雑なアルゴリズムと戦略を採用して、検出を回避し、標的型攻撃を実行することで、一般的なサイバー防御システムを破る可能性があります。

HiddenLayer の研究では、以下に示すように、3 つの主要な種類の敵対的 AI が確立されています。

敵対的な機械学習攻撃。 アルゴリズムの弱点を悪用することを目的としたこの形式の攻撃の目的は、大規模な AI アプリケーションやシステムの動作に影響を与えることから、AI ベースの検出および応答システムによる検出を逃れたり、基盤となるテクノロジーを盗んだりすることまで多岐にわたります。国民国家は、経済的および政治的利益を得るためにスパイ活動に従事し、モデルをリバースエンジニアリングしてモデルデータを取得すると同時に、目的に合わせてモデルを展開しようとします。

生成 AI システムからの攻撃。 これらの攻撃は多くの場合、生成 AI モデル (依存するすべてのデータ ソースや大規模言語モデル (LLM) など) を保護するために必要なフィルター、ガードレール、制限をターゲットとしています。 VentureBeat によると、国民国家への攻撃では引き続き LLM が武器として使用されます。

攻撃者は、コンテンツの制限を回避して、ディープフェイク、欺瞞、その他の形式の破壊的なデジタル メディアなど、モデルがブロックするであろう禁止されたマテリアルを自由に生成することが標準的な手法であると考えています。国民国家は、米国や世界中の他の民主的な選挙に影響を与えるために、AI世代システム攻撃をますます利用しています。による 米国情報コミュニティの 2024 年年次脅威評価, 「中国は、生成AIの実験など、影響力活動においてより高度な技術を示している」、「中華人民共和国（中国）は、批判者を排除したいという理由で、2024年の米国選挙に何らかの影響を与えようとする可能性がある」中国への影響を強め、米国の社会的分断を拡大する。」

MLOps とソフトウェア サプライ チェーン攻撃。これらは多くの場合、AI システムの設計と導入に使用されるフレームワーク、ネットワーク、プラットフォームのシャットダウンに重点を置いた国家および大規模な電子犯罪シンジケートの活動です。攻撃戦術には、MLOps パイプライン コンポーネントを攻撃して AI システムに悪意のあるコードを挿入することが含まれます。汚染されたデータセットは、ソフトウェア パッケージ、任意のコード実行、マルウェア配布方法を使用して提供されます。    

敵対的な AI 攻撃から保護する 4 つの方法

DevOps と CI/CD パイプラインの間にギャップがあればあるほど、AI および ML モデルの開発はより脆弱になります。モデルの保護は依然としてとらえどころのない、変化する目標であり、生成 AI の兵器化によってさらに困難になっています。

ただし、これらは、攻撃的な AI 攻撃から組織を守るために組織が講じることができる数多くの措置のうちのほんの一部にすぎません。それらには次のものが含まれます。

レッドチームとリスク評価を組織の筋肉の記憶または DNA の一部にします。 暴行が新たな危機感と認識を引き起こしたときに、散発的に、あるいはさらに悪いことに、レッドチームで解決しないでください。レッド チーム化は、今後 MLOps をサポートする DevSecOps の DNA の一部となる必要があります。その目的は、システムとパイプラインの欠陥を事前に発見し、MLOps のシステム開発ライフサイクル (SDLC) 手順を通じて出現する攻撃ベクトルに優先順位を付けて強化することです。

常に最新情報を入手し、組織にとって最も効果的な AI の防御アーキテクチャを実装してください。 DevSecOps チームのメンバーに、現在利用可能な多くの保護フレームワークに関する最新情報を常に提供してもらいます。どれが組織のニーズに最も適しているかを知ることは、MLOps のセキュリティを確保し、時間を節約し、SDLC および CI/CD パイプライン全体を保護するのに役立つ可能性があります。例としては、NIST AI リスク管理フレームワークや OWASP AI セキュリティおよびプライバシー ガイドなどがあります。

生体認証モダリティとパスワードレス認証メカニズムをすべての ID アクセス管理システムに統合して、合成データベースの攻撃のリスクを軽減します。 VentureBeat は、人になりすましてソース コードやモデル リポジトリにアクセスするために、合成データがますます使用されていることを発見しました。 MLOps 全体でシステムを保護するために、顔認識、指紋スキャン、音声認識などの生体認証モダリティとパスワードなしのアクセス テクノロジを組み合わせることを検討してください。 Gen AI は、合成データの作成を支援する能力を示しました。 MLOps チームはディープフェイクのリスクにますます直面することになるため、アクセスを保護するための段階的な戦略が間もなく不可欠になります。 

アクセス権を最新に維持するために、検証システムの監査がランダムかつ頻繁に実行されます。合成 ID 攻撃は、防ぐことが最も困難な危険の 1 つとして浮上しているため、検証システムを常に最新の状態に保ち、修正を監査することが重要です。 VentureBeat によると、アイデンティティ攻撃の次の波は、本物に似せるために集められた偽のデータに大きく依存することになるでしょう。

ソース- VentureBeatの