Ostatnia raport ustaliło, że cele urzędników ds. bezpieczeństwa nie odpowiadają ich działaniom mającym na celu ochronę sztucznej inteligencji i MLOps.
Duża liczba dyrektorów IT (97%) uważa, że ochrona sztucznej inteligencji i zabezpieczanie systemów ma kluczowe znaczenie, ale zaledwie 61% jest przekonanych, że otrzyma potrzebne pieniądze. Chociaż 77% ankietowanych liderów IT doświadczyło naruszenia związanego ze sztuczną inteligencją (szczególnie w przypadku modeli), zaledwie 30% uwzględniło ręczną obronę przed atakami kontradyktoryjnymi w swoich istniejących rozwiązaniach związanych ze sztuczną inteligencją, w tym w procesach MLOps.
Tylko 14% przygotowuje się lub testuje pod kątem takich ataków. MLOps jest zdefiniowany przez Amazon Web Services jako „zestaw praktyk, które automatyzują i upraszczają przepływ pracy i wdrożenia uczenia maszynowego (ML).
Menedżerowie IT w coraz większym stopniu polegają na modelach sztucznej inteligencji, co czyni ich atrakcyjnym celem dla szerokiej gamy groźnych ataków sztucznej inteligencji.
Organizacje liderów IT mają średnio 1,689 modeli w produkcji, a 98% uważa, że niektóre z ich modeli AI mają kluczowe znaczenie dla ich sukcesu. Osiemdziesiąt trzy procent zgłasza powszechne przyjęcie we wszystkich zespołach w swoich organizacjach. „Branża ciężko pracuje, aby przyspieszyć przyjęcie sztucznej inteligencji bez konieczności stosowania środków bezpieczeństwa mienia” – napisali eksperci raportu.
Krajobraz zagrożeń AI firmy HiddenLayer Raport przedstawia dogłębną analizę zagrożeń, przed którymi stoją systemy oparte na sztucznej inteligencji, a także rozwój sytuacji w zakresie ochrony rurociągów AI i MLOps.
Zdefiniuj kontradyktoryjną sztuczną inteligencję
Celem kontradyktoryjnej sztucznej inteligencji jest celowe wprowadzanie w błąd systemów sztucznej inteligencji i uczenia maszynowego (ML), pozostawiając je bezwartościowymi do celów, dla których zostały zbudowane. Przeciwnik AI definiuje się jako „wykorzystywanie technik sztucznej inteligencji do manipulowania systemami AI lub oszukiwania ich”. To tak, jakby sprytny szachista wykorzystywał słabości przeciwnika. Ci sprytni przeciwnicy mogą pokonać typowe systemy cyberobrony, stosując złożone algorytmy i strategie, aby uniknąć wykrycia i przeprowadzić ukierunkowane ataki.
Badanie HiddenLayer ustanawia trzy główne rodzaje kontradyktoryjnej sztucznej inteligencji, jak wskazano poniżej:
Ataki kontradyktoryjne z wykorzystaniem uczenia maszynowego. Cele tej formy ataku, którego celem jest wykorzystanie słabości algorytmów, są różne – od wywarcia wpływu na zachowanie większej aplikacji lub systemu opartego na sztucznej inteligencji po uniknięcie wykrycia przez systemy wykrywania i reagowania oparte na sztucznej inteligencji lub kradzież podstawowej technologii. Państwa narodowe angażują się w szpiegostwo dla korzyści finansowych i politycznych, próbując dokonać inżynierii wstecznej modeli w celu uzyskania danych modelowych, jednocześnie wykorzystując model do swoich celów.
Ataki z generatywnych systemów AI. Ataki te często wymierzone są w filtry, bariery ochronne i ograniczenia niezbędne do ochrony generatywnych modeli sztucznej inteligencji, w tym wszystkich źródeł danych i modeli dużych języków (LLM), na których się opierają. Według VentureBeat w atakach na państwa narodowe nadal wykorzystuje się LLM jako broń.
Osoby atakujące uważają za standardową praktykę omijanie ograniczeń dotyczących treści w celu swobodnego generowania zabronionych materiałów, które w przeciwnym razie zablokowałby model, takich jak deepfake, oszustwa i inne formy destrukcyjnych mediów cyfrowych. Państwa narodowe coraz częściej wykorzystują ataki na systemy Gen AI, aby wpłynąć na wybory w USA i innych demokratycznych wyborach na całym świecie. Według Coroczna ocena zagrożenia sporządzona przez wspólnotę wywiadowczą Stanów Zjednoczonych w 2024 r, „Chiny wykazują wyższy stopień wyrafinowania w swoich działaniach wywierania wpływu, w tym eksperymentują z generatywną sztuczną inteligencją” oraz „Chińska Republika Ludowa (ChRL) może w pewnym stopniu próbować wpłynąć na wybory w USA w 2024 r., ponieważ chce odsunąć krytyków na bok Chin i pogłębiają podziały społeczne w USA”.
MLOps i ataki na łańcuch dostaw oprogramowania. Są to często operacje na szczeblu państw narodowych lub dużych syndykatów zajmujących się e-przestępczością, których celem jest zamknięcie platform, sieci i platform wykorzystywanych do projektowania i wdrażania systemów sztucznej inteligencji. Taktyki ataku obejmują atakowanie komponentów potoku MLOps w celu wstrzyknięcia złośliwego kodu do systemu AI. Zatrute zbiory danych są dostarczane przy użyciu pakietów oprogramowania, wykonania dowolnego kodu i metod dystrybucji złośliwego oprogramowania.
Cztery metody ochrony przed wrogim atakiem AI
Im więcej luk pomiędzy DevOps i potokami CI/CD, tym bardziej podatny na ataki staje się rozwój modeli AI i ML. Ochrona modeli pozostaje nieuchwytnym, zmiennym celem, który staje się trudniejszy ze względu na uzbrojenie generacji sztucznej inteligencji.
To jednak tylko kilka z licznych działań, jakie organizacje mogą podjąć, aby uchronić się przed agresywnym atakiem sztucznej inteligencji. Należą do nich:
Niech czerwone zespoły i ocena ryzyka staną się częścią pamięci mięśniowej lub DNA Twojej organizacji. Nie zadowalaj się sporadycznym dołączeniem do drużyny czerwonych lub, co gorsza, wtedy, gdy atak powoduje ponowne poczucie pilności i świadomości. Red Teaming musi stać się częścią DNA każdego DevSecOps, który w przyszłości będzie wspierał MLOps. Celem jest wykrycie z wyprzedzeniem wad systemu i rurociągu, a także ustalenie priorytetów i zabezpieczenie wszelkich wektorów ataku, które pojawiają się w procedurach cyklu życia systemu MLOps (SDLC).
Bądź na bieżąco i wdrażaj architekturę defensywną AI, która jest najskuteczniejsza dla Twojej organizacji. Niech członek zespołu DevSecOps będzie na bieżąco informowany o wielu dostępnych obecnie ramach ochronnych. Wiedza o tym, który z nich najlepiej spełnia potrzeby organizacji, może pomóc w zabezpieczeniu MLOps, zaoszczędzeniu czasu i ochronie całego potoku SDLC i CI/CD. Przykłady obejmują Ramy zarządzania ryzykiem NIST AI oraz Przewodnik dotyczący bezpieczeństwa i prywatności OWASP AI.
Zintegruj metody biometryczne i mechanizmy uwierzytelniania bez hasła z każdym systemem zarządzania dostępem do tożsamości, aby zmniejszyć ryzyko ataków opartych na syntetycznych danych. VentureBeat odkrył, że dane syntetyczne są coraz częściej wykorzystywane do podszywania się pod ludzi i uzyskiwania dostępu do repozytoriów kodu źródłowego i modeli. Rozważ połączenie metod biometrycznych, takich jak rozpoznawanie twarzy, skanowanie odcisków palców i rozpoznawanie głosu, z technologiami dostępu bez hasła, aby chronić systemy w całym MLOps. Gen AI pokazała, że potrafi pomagać w tworzeniu danych syntetycznych. Zespoły MLOps będą w coraz większym stopniu narażone na ryzyko związane z deepfake'ami, dlatego wielopoziomowa strategia ochrony dostępu wkrótce stanie się niezbędna.
W celu utrzymania aktualnych praw dostępu przeprowadzane są losowe i częste audyty systemów weryfikacji. Ponieważ ataki na tożsamość syntetyczną stają się jednym z zagrożeń, którym najtrudniej jest zapobiec, ważne jest, aby systemy weryfikacyjne były na bieżąco aktualizowane pod kątem poprawek i przeprowadzały ich audyty. Według VentureBeat następna fala ataków na tożsamość będzie w dużej mierze opierać się na fałszywych danych, które zostały zagregowane tak, aby przypominały prawdziwe.
Źródło- VentureBeat
English
English
French
German
Russian
Spanish