Темная сторона искусственного интеллекта: раскрыты состязательные угрозы

Недавнее отчету обнаружили, что цели силовиков не совпадают с их деятельностью по защите AI и MLOps.

Большое количество ИТ-руководителей (97%) считают, что защита ИИ и систем безопасности имеет решающее значение, однако только 61% уверены, что получат необходимые деньги. Хотя 77% опрошенных ИТ-руководителей сталкивались с нарушениями, связанными с ИИ (не особенно с моделями), только 30% включили ручную защиту от состязательных атак в свои существующие разработки ИИ, включая конвейеры MLOps. 

Только 14% готовятся к таким нападениям или тестируют их. млн операций в секунду определяется Amazon Web Services как «набор практик, которые автоматизируют и упрощают рабочие процессы и развертывания машинного обучения (ML)».

ИТ-руководители все больше зависят от моделей искусственного интеллекта, что делает их привлекательной мишенью для широкого спектра угрожающих атак с использованием искусственного интеллекта. 

В организациях ИТ-лидеров в производстве находится в среднем 1,689 моделей, при этом 98% считают, что некоторые из их моделей искусственного интеллекта имеют решающее значение для их успеха. Восемьдесят три процента сообщают о широком внедрении во всех командах своих организаций. «Индустрия усердно работает над ускорением внедрения ИИ, не принимая при этом мер безопасности собственности», — пишут эксперты в отчете.

Ландшафт угроз ИИ HiddenLayer В отчете представлен углубленный анализ угроз, с которыми сталкиваются системы на базе ИИ, а также разработки в области защиты конвейеров ИИ и MLOps.

Определите состязательный ИИ

Цель состязательного ИИ — намеренно ввести в заблуждение системы ИИ и машинного обучения (МО), сделав их бесполезными для целей, для которых они были созданы. Враждебный ИИ определяется как «использование методов искусственного интеллекта для манипулирования или обмана систем ИИ». Это похоже на то, как проницательный шахматист пользуется слабостями своего противника. Эти умные злоумышленники могут победить типичные системы киберзащиты, используя сложные алгоритмы и стратегии, позволяющие избежать обнаружения и выполнить целевые атаки.

Исследование HiddenLayer выделяет три основных типа состязательного ИИ, как указано ниже:

Состязательные атаки машинного обучения. Цели этой формы атаки, направленной на использование слабых мест в алгоритмах, варьируются от влияния на поведение более крупного приложения или системы ИИ до уклонения от обнаружения системами обнаружения и реагирования на основе ИИ или кражи базовой технологии. Национальные государства занимаются шпионажем ради финансовой и политической выгоды, пытаясь перепроектировать модели для получения модельных данных, а также использовать модели в своих целях.

Атаки со стороны генеративных систем искусственного интеллекта. Эти атаки часто нацелены на фильтры, ограждения и ограничения, необходимые для защиты генеративных моделей ИИ, включая все источники данных и модели больших языков (LLM), на которые они полагаются. По данным VentureBeat, в нападениях на национальные государства по-прежнему используются LLM в качестве оружия.

Злоумышленники считают стандартной практикой обходить ограничения на контент для свободного создания запрещенных материалов, которые в противном случае модель блокировала бы, таких как дипфейки, обман и другие формы деструктивных цифровых медиа. Национальные государства все чаще используют системы Gen AI, чтобы повлиять на демократические выборы в США и других странах мира. Согласно Ежегодная оценка угроз разведывательного сообщества США в 2024 году, «Китай демонстрирует более высокую степень изощренности в своей деятельности по влиянию, включая эксперименты с генеративным искусственным интеллектом», и «Китайская Народная Республика (КНР) может попытаться на каком-то уровне повлиять на выборы в США в 2024 году из-за своего желания отодвинуть критиков в сторону». Китая и усиливают разногласия в обществе США».

MLOps и атаки на цепочки поставок программного обеспечения. Зачастую это операции национальных государств и крупных синдикатов электронной преступности, направленные на закрытие структур, сетей и платформ, используемых для разработки и развертывания систем искусственного интеллекта. Тактика атаки включает в себя атаку на компоненты конвейера MLOps для внедрения вредоносного кода в систему искусственного интеллекта. Отравленные наборы данных предоставляются с использованием пакетов программного обеспечения, выполнения произвольного кода и методов распространения вредоносного ПО.    

Четыре метода защиты от состязательной атаки ИИ

Чем больше разрывов между DevOps и конвейерами CI/CD, тем более уязвимой становится разработка моделей искусственного интеллекта и машинного обучения. Защита моделей остается неуловимой и постоянно меняющейся целью, которая усложняется из-за использования ИИ поколения в качестве оружия.

Однако это лишь малая часть многочисленных действий, которые организации могут предпринять, чтобы защитить себя от агрессивного нападения ИИ. Они включают в себя следующее:

Сделайте «красную команду» и оценку рисков частью мышечной памяти или ДНК вашей организации. Не соглашайтесь на объединение красных команд на спорадической основе или, что еще хуже, только тогда, когда нападение вызывает новое чувство безотлагательности и осведомленности. Красная команда должна стать частью ДНК любого DevSecOps, который поддерживает MLOps в будущем. Целью является заблаговременное обнаружение недостатков системы и конвейера, а также определение приоритетов и усиление защиты от любых векторов атак, возникающих в ходе процедур жизненного цикла разработки системы (SDLC) MLOps.

Будьте в курсе и внедряйте защитную архитектуру для ИИ, наиболее эффективную для вашей организации. Попросите члена команды DevSecOps оставаться в курсе многочисленных защитных инфраструктур, доступных сегодня. Знание того, какой из них лучше всего соответствует потребностям организации, может помочь в обеспечении безопасности MLOps, экономии времени и защите всего конвейера SDLC и CI/CD. Примеры включают в себя структуру управления рисками ИИ NIST и Руководство OWASP по безопасности и конфиденциальности ИИ.

Интегрируйте биометрические методы и механизмы аутентификации без пароля в каждую систему управления доступом к идентификационным данным, чтобы снизить риск атак на основе синтетических данных. VentureBeat обнаружила, что синтетические данные все чаще используются для выдачи себя за людей и получения доступа к исходному коду и репозиториям моделей. Рассмотрите возможность объединения биометрических методов, таких как распознавание лиц, сканирование отпечатков пальцев и распознавание голоса, с технологиями доступа без пароля для защиты систем во время MLOps. Поколение ИИ продемонстрировало свою способность помогать в создании синтетических данных. Команды MLOps все чаще будут сталкиваться с рисками дипфейков, поэтому многоуровневая стратегия защиты доступа вскоре станет необходимой. 

Для поддержания прав доступа в актуальном состоянии проводятся выборочные и частые проверки систем проверки. Поскольку атаки с использованием синтетических идентификационных данных становятся одной из наиболее сложных для предотвращения опасностей, важно постоянно обновлять системы проверки на наличие исправлений и проверять их. По данным VentureBeat, следующая волна атак на личные данные будет в значительной степени опираться на фальшивые данные, которые будут агрегированы так, чтобы выглядеть как настоящие.

Источник- VentureBeat