Le côté obscur de l’IA : les menaces contradictoires révélées

Une rapport a constaté que les objectifs des responsables de la sécurité ne correspondent pas à leurs activités de protection de l'IA et des MLOps.

Un grand nombre de responsables informatiques, 97 %, estiment que la protection de l'IA et des systèmes est essentielle, mais seuls 61 % sont sûrs de recevoir l'argent dont ils ont besoin. Bien que 77 % des responsables informatiques interrogés aient été confrontés à une violation liée à l'IA (pas particulièrement sur les modèles), seuls 30 % avaient inclus une défense manuelle contre les attaques contradictoires dans leur développement d'IA existant, y compris les pipelines MLOps. 

Seuls 14 % se préparent ou se testent pour de telles agressions. MLOps est défini par Amazon Web Services comme « un ensemble de pratiques qui automatisent et simplifient les flux de travail et les déploiements d'apprentissage automatique (ML) ».

Les responsables informatiques dépendent de plus en plus des modèles d’IA, ce qui en fait une cible attrayante pour un large éventail d’attaques menaçantes d’IA. 

Les organisations des responsables informatiques ont en moyenne 1,689 98 modèles en production, et XNUMX % d'entre elles estiment que certains de leurs modèles d'IA sont essentiels à leur succès. Quatre-vingt-trois pour cent déclarent une adoption généralisée dans toutes les équipes de leur organisation. "L'industrie travaille dur pour accélérer l'adoption de l'IA sans mettre en place des mesures de sécurité des propriétés", écrivent les experts du rapport.

Paysage des menaces IA de HiddenLayer Le rapport présente une analyse approfondie des menaces auxquelles sont confrontés les systèmes basés sur l'IA, ainsi que les développements en matière de protection des pipelines IA et MLOps.

Définir l'IA contradictoire

L’objectif de l’IA contradictoire est d’induire intentionnellement en erreur les systèmes d’IA et d’apprentissage automatique (ML), les rendant sans valeur au regard des objectifs pour lesquels ils ont été conçus. IA contradictoire est défini comme « l’utilisation de techniques d’intelligence artificielle pour manipuler ou tromper les systèmes d’IA ». C'est comme si un joueur d'échecs astucieux profitait des faiblesses de son adversaire. Ces adversaires intelligents peuvent vaincre les systèmes de cyberdéfense classiques en employant des algorithmes et des stratégies complexes pour éviter la détection et exécuter des attaques ciblées.

L'étude de HiddenLayer établit trois principaux types d'IA contradictoire, comme indiqué ci-dessous :

Attaques contradictoires d’apprentissage automatique. Les objectifs de cette forme d’attaque, qui vise à exploiter les faiblesses des algorithmes, vont de l’influence sur le comportement d’une application ou d’un système d’IA plus vaste à l’évasion de la détection par les systèmes de détection et de réponse basés sur l’IA ou au vol de la technologie sous-jacente. Les États-nations se livrent à l’espionnage pour obtenir un avantage financier et politique, en tentant de procéder à la rétro-ingénierie de modèles pour obtenir des données de modèle tout en déployant également le modèle à leurs fins.

Attaques provenant de systèmes d’IA générative. Ces attaques ciblent souvent les filtres, les garde-fous et les limites nécessaires pour protéger les modèles d'IA génératifs, y compris toutes les sources de données et les grands modèles de langage (LLM) sur lesquels ils s'appuient. Selon VentureBeat, les assauts des États-nations continuent d’utiliser les LLM comme armes.

Les attaquants considèrent qu'il est courant de contourner les limitations de contenu pour générer librement du matériel interdit que le modèle bloquerait autrement, comme les deepfakes, la tromperie et d'autres formes de médias numériques destructeurs. Les États-nations utilisent de plus en plus les attaques du système Gen AI pour influencer les élections américaines et autres élections démocratiques dans le monde. Selon le Évaluation annuelle des menaces 2024 par la communauté américaine du renseignement, « La Chine fait preuve d'un degré plus élevé de sophistication dans ses activités d'influence, notamment en expérimentant l'IA générative », et « la République populaire de Chine (RPC) pourrait tenter d'influencer les élections américaines de 2024 à un certain niveau en raison de sa volonté de mettre les critiques à l'écart. de la Chine et amplifier les divisions sociétales américaines.

MLOps et attaques de la chaîne d’approvisionnement logicielle. Il s’agit souvent d’opérations menées par des États-nations et de grands syndicats de la criminalité électronique, dont l’objectif est de fermer les cadres, les réseaux et les plates-formes utilisés pour concevoir et déployer des systèmes d’IA. Les tactiques d'attaque incluent l'attaque des composants du pipeline MLOps pour injecter du code malveillant dans le système d'IA. Les ensembles de données empoisonnés sont fournis à l'aide de progiciels, de l'exécution de code arbitraire et de méthodes de distribution de logiciels malveillants.    

Quatre méthodes pour se protéger contre une attaque adverse d’IA

Plus les écarts entre les pipelines DevOps et CI/CD sont grands, plus le développement de modèles d’IA et de ML devient vulnérable. La protection des modèles reste une cible insaisissable et changeante, rendue plus difficile par la militarisation de la génération IA.

Cependant, ce ne sont là que quelques-unes des nombreuses mesures que les organisations peuvent prendre pour se protéger contre une attaque agressive de l’IA. Ils comprennent les éléments suivants :

Intégrez l'équipe rouge et l'évaluation des risques à la mémoire musculaire ou à l'ADN de votre organisation. Ne vous contentez pas d'équipes rouges de manière sporadique, ou pire, juste au moment où une agression provoque un sentiment d'urgence et de prise de conscience renouvelé. L’équipe rouge doit faire partie de l’ADN de tout DevSecOps qui prend en charge le MLOps à l’avenir. L'objectif est de découvrir à l'avance les failles du système et du pipeline, ainsi que de prioriser et de renforcer tous les vecteurs d'attaque qui émergent tout au long des procédures du cycle de vie de développement du système (SDLC) de MLOps.

Restez à jour et mettez en œuvre l’architecture défensive pour l’IA la plus efficace pour votre organisation. Demandez à un membre de l'équipe DevSecOps de rester informé des nombreux cadres de protection disponibles aujourd'hui. Savoir lequel répond le mieux aux besoins d'une organisation peut aider à sécuriser les MLOps, à gagner du temps et à protéger l'ensemble du pipeline SDLC et CI/CD. Les exemples incluent le cadre de gestion des risques NIST AI et le guide de sécurité et de confidentialité OWASP AI.

Intégrez des modalités biométriques et des mécanismes d'authentification sans mot de passe dans chaque système de gestion des accès aux identités pour réduire le risque d'attaques basées sur des données synthétiques. VentureBeat a découvert que les données synthétiques sont de plus en plus utilisées pour usurper l'identité de personnes et accéder au code source et aux référentiels de modèles. Envisagez de combiner des modalités biométriques telles que la reconnaissance faciale, la numérisation d'empreintes digitales et la reconnaissance vocale avec des technologies d'accès sans mot de passe pour protéger les systèmes tout au long des MLOps. La génération AI a montré sa capacité à contribuer à la création de données synthétiques. Les équipes MLOps seront de plus en plus confrontées à des risques de deepfake, c'est pourquoi une stratégie à plusieurs niveaux pour protéger l'accès deviendra bientôt essentielle. 

Des audits aléatoires et fréquents des systèmes de vérification sont effectués pour maintenir les droits d'accès à jour. Alors que les attaques d’identité synthétique apparaissent comme l’un des dangers les plus difficiles à prévenir, il est important de maintenir les systèmes de vérification à jour sur les correctifs et de les auditer. Selon VentureBeat, la prochaine vague d’attaques d’identité s’appuiera largement sur de fausses données agrégées pour ressembler à des données réelles.

Source- VentureBeat