Temná strana AI: Odhalenie nepriateľských hrozieb

Nedávna správy zistili, že ciele bezpečnostných úradníkov nezodpovedajú ich činnostiam na ochranu AI a MLOps.

Veľký počet IT manažérov, 97 %, sa domnieva, že ochrana AI a zabezpečenie systémov je kritické, no len 61 % si je istých, že dostanú peniaze, ktoré potrebujú. Hoci 77 % opýtaných lídrov v oblasti IT zažilo narušenie súvisiace s AI (najmä v prípade modelov), iba 30 % zahrnulo manuálnu obranu proti nepriateľským útokom do svojho existujúceho vývoja AI, vrátane potrubí MLOps. 

Len 14 % sa na takéto útoky pripravuje alebo testuje. MLOps je definovaná spoločnosťou Amazon Web Services ako „súbor postupov, ktoré automatizujú a zjednodušujú pracovné postupy a nasadenia strojového učenia (ML).

Vedúci pracovníci IT čoraz viac závisia od modelov AI, čo z nich robí príťažlivý cieľ pre širokú škálu hrozivých útokov AI. 

Organizácie lídrov v oblasti IT majú vo výrobe v priemere 1,689 98 modelov, pričom XNUMX % z nich verí, že niektoré z ich modelov AI sú pre ich úspech rozhodujúce. XNUMX percent hlási rozšírené prijatie vo všetkých tímoch vo svojich organizáciách. „Odvetvie tvrdo pracuje na urýchlení prijatia AI bez zavedenia opatrení na zabezpečenie majetku,“ napísali experti správy.

Krajina hrozieb umelej inteligencie HiddenLayer Správa predstavuje hĺbkovú analýzu hrozieb, ktorým čelia systémy založené na AI, ako aj vývoj v oblasti ochrany potrubí AI a MLOps.

Definujte Adversarial AI

Cieľom umelej inteligencie protivníka je zámerne zavádzať systémy AI a strojového učenia (ML) a ponechať ich bezcenné na účely, na ktoré boli vytvorené. Adversarial AI je definovaný ako „použitie techník umelej inteligencie na manipuláciu alebo oklamanie systémov AI“. Je to ako bystrý šachista, ktorý využíva slabiny svojho súpera. Títo šikovní protivníci môžu poraziť typické systémy kybernetickej obrany využitím zložitých algoritmov a stratégií, aby sa vyhli detekcii a vykonávali cielené útoky.

Štúdia HiddenLayer stanovuje tri hlavné druhy nepriateľskej AI, ako je uvedené nižšie:

Nepriaznivé útoky strojového učenia. Ciele tejto formy útoku, ktorej cieľom je využiť slabé stránky v algoritmoch, siahajú od ovplyvňovania správania väčšej aplikácie alebo systému AI až po únik pred detekciou pomocou systémov detekcie a odozvy na báze AI alebo odcudzenie základnej technológie. Národné štáty sa zapájajú do špionáže kvôli finančným a politickým výhodám, pokúšajú sa reverzne analyzovať modely, aby získali modelové údaje, a zároveň nasadili model na svoje účely.

Útoky z generatívnych systémov AI. Tieto útoky sa často zameriavajú na filtre, ochranné zábradlia a limity potrebné na ochranu generatívnych modelov AI vrátane všetkých zdrojov údajov a veľkých jazykových modelov (LLM), na ktoré sa spoliehajú. Podľa VentureBeat útoky na národné štáty naďalej používajú LLM ako zbrane.

Útočníci považujú za štandardnú prax obchádzať obmedzenia obsahu a voľne vytvárať zakázaný materiál, ktorý by model inak zablokoval, ako sú deepfakes, podvody a iné formy deštruktívnych digitálnych médií. Národné štáty čoraz viac využívajú útoky systému Gen AI na ovplyvnenie amerických a iných demokratických volieb na celom svete. Podľa Výročné hodnotenie hrozieb americkej spravodajskej komunity za rok 2024, „Čína demonštruje vyšší stupeň sofistikovanosti vo svojej ovplyvňovacej činnosti, vrátane experimentovania s generatívnou AI,“ a „Čínska ľudová republika (ČĽR) sa môže pokúsiť ovplyvniť voľby v USA v roku 2024 na určitej úrovni, pretože chce odsunúť kritikov na vedľajšiu koľaj. Číny a zväčšiť rozpory v spoločnosti v USA.“

MLOps a útoky na dodávateľský reťazec softvéru. Často ide o operácie národných štátov a veľkých syndikátov pre elektronickú kriminalitu zamerané na odstavenie rámcov, sietí a platforiem používaných na navrhovanie a nasadzovanie systémov AI. Útočná taktika zahŕňa útok na komponenty potrubia MLOps s cieľom vložiť škodlivý kód do systému AI. Otrávené súbory údajov sa poskytujú pomocou softvérových balíkov, spúšťaním ľubovoľného kódu a metódami distribúcie škodlivého softvéru.    

Štyri spôsoby ochrany pred nepriateľským útokom AI

Čím väčšie sú medzery medzi kanálmi DevOps a CI/CD, tým je vývoj modelov AI a ML zraniteľnejší. Ochrana modelov zostáva nepolapiteľným, pohyblivým cieľom, ktorý je sťažený zbraňovým vybavením generácie AI.

Toto je však len hŕstka z mnohých akcií, ktoré môžu organizácie podniknúť, aby sa ochránili pred agresívnym útokom AI. Patria medzi ne:

Urobte červený tím a hodnotenie rizika súčasťou svalovej pamäte alebo DNA vašej organizácie. Neuspokojte sa s červeným tímom na sporadickom základe, alebo ešte horšie, keď útok spôsobí obnovený pocit naliehavosti a uvedomenia. Red teaming sa musí stať súčasťou DNA každého DevSecOps, ktorý v budúcnosti podporuje MLOps. Cieľom je včas odhaliť chyby systému a potrubia, ako aj uprednostniť a posilniť akékoľvek útočné vektory, ktoré sa objavia počas postupov životného cyklu vývoja systému (SDLC) MLOps.

Zostaňte v obraze a implementujte obrannú architektúru AI, ktorá je pre vašu organizáciu najefektívnejšia. Nechajte člena tímu DevSecOps informovať o mnohých ochranných rámcoch, ktoré sú dnes k dispozícii. Vedieť, ktorý z nich najlepšie vyhovuje potrebám organizácie, môže pomôcť pri zabezpečení MLO, šetrení času a ochrane celkového kanála SDLC a CI/CD. Príklady zahŕňajú NIST AI Risk Management Framework a OWASP AI Security and Privacy Guide.

Integrujte biometrické modality a mechanizmy autentifikácie bez hesla do každého systému správy prístupu k identite, aby ste znížili riziko útokov založených na syntetických údajoch. VentureBeat zistil, že syntetické údaje sa čoraz častejšie používajú na odcudzenie identity ľudí a získanie prístupu k zdrojovým kódom a modelovým úložiskám. Zvážte kombináciu biometrických modalít, ako je rozpoznávanie tváre, skenovanie odtlačkov prstov a rozpoznávanie hlasu, s technológiami prístupu bez hesla na ochranu systémov v rámci MLO. Gen AI preukázala svoju schopnosť pomáhať pri vytváraní syntetických údajov. Tímy MLOps budú čoraz viac čeliť rizikám falšovania, preto sa čoskoro stane nevyhnutnosťou stupňovitá stratégia ochrany prístupu. 

Vykonávajú sa náhodné a časté audity verifikačných systémov, aby sa zachovali aktuálne prístupové práva. Vzhľadom na to, že útoky na syntetickú identitu sa javia ako jedno z najťažších nebezpečenstiev, ktorým sa dá predchádzať, je dôležité udržiavať overovacie systémy v aktuálnom stave opráv a kontrolovať ich. Podľa VentureBeat sa budúca vlna útokov na identitu bude vo veľkej miere spoliehať na falošné údaje, ktoré boli agregované tak, aby pripomínali skutočné.

vstup- VentureBeat