Nedalo jim to. Vývojáři v oblasti kybernetické bezpečnosti vyvinuli červa s technologiemi umělé inteligence a nechali jej šířit v testovacím prostředí. Počítačoví červi, worms, je forma škodlivého kódu, která se dokáže šířit v digitálním prostředí, přecházet z jednoho systému do druhého, a zanechávat po sobě škodlivý kód.
Ben Nassi, jeden z bezpečnostních expertů, který se na testu podílel, je přesvědčen, že takový typ počítačového červa umožňuje provést bezprecedentní kybernetický útok.
Červ s podporou AI je odkazem na počítačový červ Morris, který v roce 1988, tehdy ještě ve velmi raném stádiu internetu, způsobil naprostý chaos. Současného červa vytvořili výzkumníci z Cornellovy univerzity v USA a dokáže obejít bezpečnostní opatření ChatGPT i Gemini.
Může také napadnout e-mailového asistenta s generativní umělou inteligencí, což mu dovoluje nejen krást data z elektronické pošty, ale i odesílat nevyžádané e-maily.
Červ s podporou umělé inteligence: jak tento škodlivý nástroj funguje
K otestování červa tým vyvinul e-mailový systém, který dokáže odesílat a přijímat elektronickou konverzaci pomocí generativní umělé inteligence. Využil při tom modely AI ChatGPT, Gemini a LLaVa. Podařilo se objevit dva způsoby zneužití systému s umělou inteligencí.
První je textový prompt, který má schopnost vlastní automatické replikace. Druhý způsob ukázal možnost vložit automaticky se replikující prompty do souboru s obrázkem.
Výzkumníci poté vytvořili e-mail s textovým promptem, který má schopnost vlastní replikace. Ten s pomocí architektury RAG, "retrieval-augmented generation", proniká do databáze e-mailového asistenta. Tato architektura přidává informační systém pro vyhledávání, který poskytuje základní data. Přidáním informačního systému pro vyhledávání získáte kontrolu nad daty, která LLM (například ChatGPT) používá při formulaci odpovědi.
Mohlo by vás zajímat
Zjednodušeně, RAG je technika zpracování přirozeného jazyka. Kombinuje silné stránky modelů, založených na dotazech a generativní umělé inteligenci. RAG umožňuje AI poskytovat přesné výsledky. Umožňuje vytvářet odpovědi s ohledem na kontext, pokyny nebo vysvětlení v přirozeném jazyce.
RAG umožňuje modelům umělé inteligence přístup k údajům vně jejich systému. Výzkumníci použili vytvořený e-mail k jailbreaku (prolomení) generativní umělé inteligence. Pokud RAG obdrží e-mail a pošle jej na ChatGPT 4 nebo Gemini Pro, aby formulovaly odpovědi, dojde k prolomení. A tím vlastně k odcizení dat z e-mailu. Nassi vysvětluje, že odpověď vytvořená generativní AI s citlivými údaji později infikuje další hostitele.
Brzy by se AI červi mohli stát reálnou bezpečnostní hrozbou
Pokud je škodlivý prompt vložen do obrázkového souboru, automatizovaný asistent s podporou AI jej přepošle. Pokud je do obrázku zakódovaný prompt s automatickou replikací, může být dále distribuován dalším příjemcům. Touto metodou lze odcizit citlivé údaje, jako jsou telefonní čísla nebo údaje o platebních kartách.
Mohlo by vás zajímat
Výzkumníci předali svá zjištění, která poukazují na špatný architektonický návrh ekosystémů umělé inteligence, společnostem Google a OpenAI. Ty už pracují na odstranění popsaných bezpečnostních nedostatků.
Obzvlášť náchylné k šíření červa s podporou AI jsou především modely umělé inteligence, které získávají data z externích zdrojů, nebo pracují autonomně. Bezpečnostní výzkumníci předpokládají, že reálné nebezpečí v podobě červů s podporou AI se objeví v příštích dvou až třech letech.
Mohlo by vás zajímat
