O lado negro da IA: ameaças adversas reveladas

Um recente Denunciar descobriram que os objetivos dos funcionários de segurança não correspondem às suas atividades para proteger a IA e os MLOps.

Um grande número de executivos de TI, 97%, acredita que proteger a IA e salvaguardar os sistemas é fundamental, mas apenas 61% têm a certeza de que receberão o dinheiro de que necessitam. Embora 77% dos líderes de TI entrevistados tenham sofrido uma violação relacionada à IA (não particularmente nos modelos), apenas 30% incluíram uma defesa manual contra ataques adversários em seu desenvolvimento de IA existente, incluindo pipelines de MLOps. 

Apenas 14% estão se preparando ou fazendo testes para tais ataques. MLOps é definido pela Amazon Web Services como “um conjunto de práticas que automatizam e simplificam fluxos de trabalho e implantações de aprendizado de máquina (ML).

Os executivos de TI dependem cada vez mais de modelos de IA, o que os torna um alvo atraente para uma ampla gama de ataques ameaçadores de IA. 

As organizações de líderes de TI têm uma média de 1,689 modelos em produção, com 98% acreditando que alguns dos seus modelos de IA são críticos para o seu sucesso. Oitenta e três por cento relatam adoção generalizada em todas as equipes de suas organizações. “A indústria está a trabalhar arduamente para acelerar a adoção da IA ​​sem implementar medidas de segurança patrimonial”, escreveram os especialistas do relatório.

Cenário de ameaças de IA do HiddenLayer O relatório apresenta uma análise aprofundada das ameaças que os sistemas baseados em IA enfrentam, bem como os desenvolvimentos na proteção de pipelines de IA e MLOps.

Definir IA adversária

O objetivo da IA ​​adversária é enganar intencionalmente os sistemas de IA e de aprendizado de máquina (ML), deixando-os inúteis para os propósitos para os quais foram construídos. IA adversária é definido como “o uso de técnicas de inteligência artificial para manipular ou enganar sistemas de IA”. É como um jogador de xadrez astuto que se aproveita das fraquezas do adversário. Esses adversários inteligentes podem derrotar sistemas típicos de defesa cibernética, empregando algoritmos e estratégias complexas para evitar a detecção e executar ataques direcionados.

O estudo da HiddenLayer estabelece três tipos principais de IA adversária, conforme indicado abaixo:

Ataques adversários de aprendizado de máquina. Os objetivos desta forma de ataque, que visa explorar fraquezas nos algoritmos, vão desde influenciar o comportamento de uma aplicação ou sistema de IA maior até escapar à deteção por sistemas de deteção e resposta baseados em IA ou roubar a tecnologia subjacente. Os Estados-nação envolvem-se em espionagem para obter vantagens financeiras e políticas, tentando fazer engenharia inversa de modelos para obter dados de modelos, ao mesmo tempo que implementam o modelo para os seus fins.

Ataques de sistemas generativos de IA. Esses ataques geralmente têm como alvo filtros, proteções e limites necessários para proteger modelos generativos de IA, incluindo todas as fontes de dados e grandes modelos de linguagem (LLMs) dos quais dependem. De acordo com VentureBeat, os ataques do Estado-nação continuam a usar LLMs como armas.

Os invasores consideram uma prática padrão contornar as limitações de conteúdo para gerar livremente material proibido que o modelo bloquearia, como deepfakes, engano e outras formas de mídia digital destrutiva. Os Estados-nação estão cada vez mais a utilizar ataques ao sistema Gen AI para influenciar as eleições nos EUA e outras eleições democráticas em todo o mundo. De acordo com Avaliação Anual de Ameaças de 2024 da Comunidade de Inteligência dos EUA, “A China está demonstrando um maior grau de sofisticação em sua atividade de influência, incluindo experiências com IA generativa”, e “a República Popular da China (RPC) pode tentar influenciar as eleições dos EUA em 2024 em algum nível devido ao seu desejo de marginalizar os críticos da China e ampliar as divisões sociais dos EUA”.

MLOps e ataques à cadeia de suprimentos de software. Muitas vezes, trata-se de operações estatais e de grandes sindicatos do crime eletrónico, focadas no encerramento de estruturas, redes e plataformas utilizadas para conceber e implementar sistemas de IA. As táticas de ataque incluem atacar componentes de pipeline MLOps para injetar código malicioso no sistema de IA. Conjuntos de dados envenenados são fornecidos usando pacotes de software, execução de código arbitrário e métodos de distribuição de malware.    

Quatro métodos para se proteger contra um ataque adversário de IA

Quanto maiores as lacunas entre os pipelines de DevOps e CI/CD, mais vulnerável se torna o desenvolvimento de modelos de IA e ML. A proteção dos modelos continua a ser um alvo elusivo e mutável, tornado mais difícil pela transformação da geração de IA em armas.

No entanto, estas são apenas algumas das inúmeras ações que as organizações podem tomar para se protegerem contra um ataque agressivo de IA. Eles incluem o seguinte:

Faça com que a equipe vermelha e a avaliação de riscos sejam parte da memória muscular ou do DNA da sua organização. Não se contente com a equipe vermelha de forma esporádica, ou pior, apenas quando um ataque causa um sentimento renovado de urgência e consciência. A equipe vermelha deve se tornar parte do DNA de qualquer DevSecOps que apoie MLOps no futuro. O objetivo é descobrir falhas de sistema e pipeline com antecedência, bem como priorizar e fortalecer quaisquer vetores de ataque que surjam durante os procedimentos do ciclo de vida de desenvolvimento de sistema (SDLC) do MLOps.

Mantenha-se atualizado e implemente a arquitetura defensiva para IA mais eficaz para sua organização. Peça a um membro da equipe DevSecOps que se mantenha atualizado sobre as diversas estruturas de proteção disponíveis atualmente. Saber qual deles atende melhor às necessidades de uma organização pode ajudar a proteger MLOps, economizar tempo e proteger o pipeline geral de SDLC e CI/CD. Os exemplos incluem o NIST AI Risk Management Framework e o OWASP AI Security and Privacy Guide.

Integre modalidades biométricas e mecanismos de autenticação sem senha em todos os sistemas de gerenciamento de acesso de identidade para reduzir o risco de ataques sintéticos baseados em dados. VentureBeat descobriu que dados sintéticos estão sendo cada vez mais usados ​​para se passar por pessoas e obter acesso ao código-fonte e repositórios de modelos. Considere combinar modalidades biométricas, como reconhecimento facial, digitalização de impressões digitais e reconhecimento de voz, com tecnologias de acesso sem senha para proteger sistemas em MLOps. A Gen AI demonstrou sua capacidade de auxiliar na criação de dados sintéticos. As equipes de MLOps enfrentarão cada vez mais riscos de deepfake, portanto, uma estratégia escalonada para proteger o acesso logo se tornará essencial. 

Auditorias aleatórias e frequentes dos sistemas de verificação são realizadas para manter os direitos de acesso atualizados. Com os ataques de identidade sintética emergindo como um dos perigos mais difíceis de prevenir, é importante manter os sistemas de verificação atualizados sobre as correções e auditá-los. De acordo com VentureBeat, a próxima onda de ataques de identidade dependerá fortemente de dados falsos que foram agregados para parecerem reais.

Fonte- VentureBeat