Темна сторона штучного інтелекту: виявлено загрози суперництва

Недавній звітом виявили, що цілі співробітників служби безпеки не збігаються з їхньою діяльністю щодо захисту ШІ та MLOps.

Велика кількість ІТ-керівників, 97%, вважають, що захист штучного інтелекту та захисту систем є критично важливими, але лише 61% впевнені, що вони отримають потрібні гроші. Незважаючи на те, що 77% опитаних ІТ-лідерів стикалися зі зломом, пов’язаним зі ШІ (не особливо щодо моделей), лише 30% включили ручний захист від агресивних атак у свої існуючі розробки ШІ, включаючи конвеєри MLOps. 

Лише 14% готуються або тестуються на такі напади. MLOps Amazon Web Services визначає як «набір практик, які автоматизують і спрощують робочі процеси та розгортання машинного навчання (ML).»

ІТ-керівники все більше залежать від моделей ШІ, що робить їх привабливою мішенню для широкого спектру загрозливих атак ШІ. 

Організації ІТ-лідерів мають у середньому 1,689 моделей у виробництві, причому 98% вважають, що деякі з їхніх моделей ШІ мають вирішальне значення для їх успіху. Вісімдесят три відсотки повідомляють про широке впровадження в усіх командах їхніх організацій. «Індустрія наполегливо працює над прискоренням впровадження штучного інтелекту, не використовуючи заходів безпеки власності», — пишуть експерти у звіті.

Пейзаж загроз ШІ HiddenLayer У звіті представлено глибокий аналіз загроз, з якими стикаються системи на основі ШІ, а також розробки щодо захисту конвеєрів ШІ та MLOps.

Дайте визначення змагальному ШІ

Мета змагального штучного інтелекту — навмисно ввести в оману системи штучного інтелекту та машинного навчання (ML), залишивши їх безцінними для цілей, для яких вони були створені. Змагальний ШІ визначається як «використання методів штучного інтелекту для маніпулювання або обману систем ШІ». Це все одно, що спритний шахіст використовує слабкі сторони суперника. Ці спритні супротивники можуть перемогти типові системи кіберзахисту, використовуючи складні алгоритми та стратегії, щоб уникнути виявлення та здійснити цілеспрямовані атаки.

Дослідження HiddenLayer визначає три основні типи змагального ШІ, як зазначено нижче:

Змагальні атаки машинного навчання. Цілі цієї форми атаки, спрямованої на використання слабких місць в алгоритмах, варіюються від впливу на поведінку більшої програми або системи штучного інтелекту до уникнення виявлення систем виявлення та реагування на основі штучного інтелекту або викрадення базової технології. Національні держави займаються шпигунством заради фінансової та політичної вигоди, намагаючись переробити моделі, щоб отримати модельні дані, одночасно розгортаючи модель для своїх цілей.

Атаки з боку генеративних систем ШІ. Ці атаки часто спрямовані на фільтри, огорожі та обмеження, необхідні для захисту генеративних моделей ШІ, включаючи всі джерела даних і великі мовні моделі (LLM), на які вони спираються. Згідно з VentureBeat, напади на національні держави продовжують використовувати LLM як зброю.

Зловмисники вважають стандартною практикою обійти обмеження вмісту для вільного створення заборонених матеріалів, які модель заблокувала б інакше, як-от глибокі фейки, обман та інші форми деструктивного цифрового медіа. Національні держави все частіше використовують атаки на системи Gen AI, щоб вплинути на американські та інші демократичні вибори по всьому світу. Відповідно до Щорічна оцінка загроз розвідувального співтовариства США за 2024 рік, «Китай демонструє вищий рівень витонченості у своїй діяльності щодо впливу, включаючи експерименти з генеративним штучним інтелектом», і «Китайська Народна Республіка (КНР) може спробувати на певному рівні вплинути на вибори в США у 2024 році через своє бажання відійти від критиків». Китаю та збільшують розбіжності в суспільстві США».

MLOps і атаки на ланцюги поставок програмного забезпечення. Часто це операції національних держав і великих синдикатів електронної злочинності, зосереджені на закритті фреймворків, мереж і платформ, які використовувалися для розробки та розгортання систем ШІ. Тактика атак включає атаку на компоненти конвеєра MLOps для введення шкідливого коду в систему ШІ. Отруєні набори даних надаються за допомогою пакетів програмного забезпечення, виконання довільного коду та методів розповсюдження шкідливого програмного забезпечення.    

Чотири методи захисту від ворожої атаки ШІ

Чим більше розривів між конвеєрами DevOps і CI/CD, тим більш вразливою стає розробка моделей штучного інтелекту та машинного навчання. Захист моделей залишається невловимою, мінливою ціллю, ускладненою використанням зброї ШІ покоління.

Однак це лише невелика частина дій, які організації можуть вжити, щоб захистити себе від агресивного нападу ШІ. Вони включають наступне:

Зробіть червону команду та оцінку ризиків частиною м’язової пам’яті або ДНК вашої організації. Не згоджуйтеся з червоними командами на спорадичній основі або, що ще гірше, лише тоді, коли напад викликає нове відчуття терміновості та усвідомлення. Red teaming має стати частиною ДНК будь-якого DevSecOps, який підтримує MLO в майбутньому. Мета полягає в тому, щоб завчасно виявити недоліки в системі та конвеєрі, а також визначити пріоритети та захистити будь-які вектори атак, які з’являються під час процедур життєвого циклу розробки системи (SDLC) MLOps.

Слідкуйте за новинами та запровадьте захисну архітектуру для ШІ, яка є найбільш ефективною для вашої організації. Попросіть члена команди DevSecOps залишатися в курсі багатьох захисних інфраструктур, доступних сьогодні. Знання того, який з них найкраще відповідає потребам організації, може допомогти захистити MLO, заощадити час і захистити загальний конвеєр SDLC і CI/CD. Приклади включають NIST AI Risk Management Framework і OWASP AI Security and Privacy Guide.

Інтегруйте біометричні модальності та механізми автентифікації без пароля в кожну систему керування доступом до особистих даних, щоб зменшити ризик атак на основі синтетичних даних. VentureBeat виявив, що синтетичні дані все частіше використовуються, щоб видати себе за людей і отримати доступ до сховищ вихідного коду та моделей. Розгляньте можливість поєднання біометричних модальностей, таких як розпізнавання обличчя, сканування відбитків пальців і розпізнавання голосу, з технологіями доступу без пароля, щоб захистити системи в межах MLOps. Gen AI продемонстрував свою здатність допомагати у створенні синтетичних даних. Команди MLOps дедалі частіше стикаються з ризиками deepfake, тому багаторівнева стратегія захисту доступу незабаром стане важливою. 

Проводяться випадкові та часті перевірки систем верифікації, щоб підтримувати актуальність прав доступу. У зв’язку з тим, що атаки з використанням синтетичної ідентифікації стають однією з найскладніших небезпек, яким важко запобігти, важливо постійно оновлювати системи перевірки щодо виправлень і перевіряти їх. За даними VentureBeat, наступна хвиля нападів на особисті дані значною мірою покладатиметься на підроблені дані, зібрані так, щоб вони нагадували справжні.

Джерело- VentureBeat