El lado oscuro de la IA: amenazas adversas reveladas

Un reporte descubrió que los objetivos de los funcionarios de seguridad no coinciden con sus actividades para proteger la IA y las MLOps.

Un gran número de ejecutivos de TI, el 97 %, cree que proteger la IA y salvaguardar los sistemas es fundamental, pero solo el 61 % está seguro de que recibirán el dinero que necesitan. Aunque el 77% de los líderes de TI entrevistados habían experimentado una violación relacionada con la IA (no particularmente en los modelos), solo el 30% había incluido una defensa manual para ataques adversarios en su desarrollo de IA existente, incluidos los canales de MLOps.

Sólo el 14% se está preparando o realizando pruebas para este tipo de agresiones. MLOps Amazon Web Services lo define como "un conjunto de prácticas que automatizan y simplifican los flujos de trabajo y las implementaciones de aprendizaje automático (ML)".

Los ejecutivos de TI dependen cada vez más de los modelos de IA, lo que los convierte en un objetivo atractivo para una amplia gama de ataques amenazantes de IA.

Las organizaciones de líderes de TI tienen un promedio de 1,689 modelos en producción, y el 98% cree que algunos de sus modelos de IA son fundamentales para su éxito. El ochenta y tres por ciento informa una adopción generalizada en todos los equipos de sus organizaciones. "La industria está trabajando arduamente para acelerar la adopción de la IA sin contar con medidas de seguridad de la propiedad", escribieron los expertos del informe.

Panorama de amenazas de IA de HiddenLayer El informe presenta un análisis en profundidad de las amenazas que enfrentan los sistemas basados en IA, así como los avances en la protección de las canalizaciones de IA y MLOps.

Definir la IA adversaria

El objetivo de la IA adversaria es engañar intencionalmente a los sistemas de IA y aprendizaje automático (ML), dejándolos inútiles para los fines para los que fueron creados. IA adversaria se define como “el uso de técnicas de inteligencia artificial para manipular o engañar a los sistemas de IA”. Es como un astuto jugador de ajedrez que se aprovecha de las debilidades de su oponente. Estos astutos adversarios pueden derrotar los típicos sistemas de ciberdefensa empleando complejos algoritmos y estrategias para evitar la detección y ejecutar ataques dirigidos.

El estudio de HiddenLayer establece tres tipos principales de IA adversaria, como se indica a continuación:

Ataques adversarios de aprendizaje automático. Los objetivos de esta forma de ataque, que pretende explotar las debilidades de los algoritmos, van desde influir en el comportamiento de una aplicación o sistema de IA más grande hasta escapar de la detección mediante sistemas de detección y respuesta basados en IA o robar la tecnología subyacente. Los Estados-nación se involucran en el espionaje para obtener ventajas financieras y políticas, intentando aplicar ingeniería inversa a los modelos para obtener datos del modelo y al mismo tiempo implementar el modelo para sus propósitos.

Ataques de sistemas generativos de IA. Estos ataques a menudo tienen como objetivo filtros, barreras de seguridad y límites necesarios para proteger los modelos de IA generativa, incluidas todas las fuentes de datos y los modelos de lenguaje grande (LLM) en los que se basan. Según VentureBeat, los ataques de los Estados-nación continúan utilizando los LLM como armas.

Los atacantes consideran que es una práctica estándar eludir las limitaciones de contenido para generar libremente material prohibido que de otro modo el modelo bloquearía, como deepfakes, engaños y otras formas de medios digitales destructivos. Los estados-nación utilizan cada vez más los ataques a los sistemas Gen AI para influir en las elecciones democráticas de Estados Unidos y otros países del mundo. De acuerdo con la Evaluación anual de amenazas de 2024 de la comunidad de inteligencia de EE. UU., "China está demostrando un mayor grado de sofisticación en su actividad de influencia, incluida la experimentación con IA generativa", y "la República Popular China (RPC) puede intentar influir en las elecciones estadounidenses de 2024 en algún nivel debido a su deseo de dejar de lado a los críticos". de China y magnificar las divisiones sociales de Estados Unidos”.

MLOps y ataques a la cadena de suministro de software. A menudo se trata de operaciones de estados-nación y de grandes sindicatos de delitos electrónicos centradas en cerrar los marcos, redes y plataformas utilizados para diseñar e implementar sistemas de inteligencia artificial. Las tácticas de ataque incluyen atacar los componentes del canal MLOps para inyectar código malicioso en el sistema de inteligencia artificial. Los conjuntos de datos envenenados se proporcionan mediante paquetes de software, ejecución de código arbitrario y métodos de distribución de malware.

Cuatro métodos para protegerse contra un ataque de IA adversario

Cuantas más brechas haya entre las canalizaciones de DevOps y CI/CD, más vulnerable se vuelve el desarrollo de modelos de IA y ML. La protección de los modelos sigue siendo un objetivo esquivo y cambiante, que se ha vuelto más difícil debido a la militarización de la generación de IA.

Sin embargo, estas son sólo algunas de las numerosas acciones que las organizaciones pueden tomar para protegerse contra un ataque agresivo de la IA. Incluyen lo siguiente:

Haga que el equipo rojo y la evaluación de riesgos formen parte de la memoria muscular o del ADN de su organización. No se conforme con formar equipos rojos de forma esporádica, o peor aún, justo cuando un asalto provoca un sentimiento renovado de urgencia y conciencia. El equipo rojo debe convertirse en parte del ADN de cualquier DevSecOps que respalde las MLOps en el futuro. El objetivo es descubrir fallas en el sistema y en la canalización con anticipación, así como priorizar y reforzar cualquier vector de ataque que surja a lo largo de los procedimientos del ciclo de vida de desarrollo del sistema (SDLC) de MLOps.

Manténgase actualizado e implemente la arquitectura defensiva para IA que sea más efectiva para su organización. Haga que un miembro del equipo de DevSecOps se mantenga actualizado sobre los numerosos marcos de protección disponibles en la actualidad. Saber cuál satisface mejor las necesidades de una organización puede ayudar a proteger MLOps, ahorrar tiempo y proteger el proceso general de SDLC y CI/CD. Los ejemplos incluyen el Marco de gestión de riesgos de IA del NIST y la Guía de privacidad y seguridad de IA de OWASP.

Integre modalidades biométricas y mecanismos de autenticación sin contraseña en cada sistema de gestión de acceso a identidades para reducir el riesgo de ataques basados en datos sintéticos. VentureBeat ha descubierto que los datos sintéticos se utilizan cada vez más para hacerse pasar por personas y obtener acceso al código fuente y a los repositorios de modelos. Considere combinar modalidades biométricas como reconocimiento facial, escaneo de huellas dactilares y reconocimiento de voz con tecnologías de acceso sin contraseña para proteger los sistemas en todas las MLOps. Gen AI ha demostrado su capacidad para ayudar en la creación de datos sintéticos. Los equipos de MLOps enfrentarán cada vez más riesgos de deepfake, por lo que pronto se volverá esencial una estrategia escalonada para proteger el acceso.

Se realizan auditorías aleatorias y frecuentes de los sistemas de verificación para mantener actualizados los derechos de acceso. Dado que los ataques de identidad sintética se están convirtiendo en uno de los peligros más difíciles de prevenir, es importante mantener los sistemas de verificación actualizados sobre las correcciones y auditarlos. Según VentureBeat, la próxima ola de ataques a la identidad dependerá en gran medida de datos falsos que se hayan agregado para que parezcan reales.

Fuente- VentureBeat