Umělá inteligence nerozumí slovu ne. AI agent OpenAI se vloupal do australských vládních dat

Australský premiér Anthony Albanese se minulý týden v New Yorku postavil před novináře s nepříjemnou zprávou. Agent umělé inteligence od společnosti OpenAI se bez povolení dostal do vládního portálu se statistikami zdravotního pojištění Medicare. Stalo se to už 18. června, ale vláda se o tom dozvěděla až o tři měsíce později.

Jak se agent zmocnil vládních dat?

OpenAI podle svých slov prováděla interní výzkum veřejných výdajů na léky. AI agent narazil na bezpečnostní bariéry portálu Medicare Statistics Reporting Service. Místo aby se zastavil, zkoušel to znovu a jinak, dokud se dovnitř nedostal.

Albanese to popsal jednoduše: agent nepřijal odpověď ne. Dostal se tak nejen k veřejným datům, ale i k souborům, které veřejnosti přístupné nejsou. Šlo o souhrnné statistiky výdajů na zdravotnictví a názvy interních souborů, osobní údaje pacientů podle dostupných informací zasaženy nebyly.

Agent se podle premiéra dotkl i tří dalších webů, konkrétně Australského institutu pro zdraví a sociální péči, Kanceláře pro statistiku kriminality v Novém Jižním Walesu a ministerstva zdravotnictví státu Victoria. Zastupující premiér Richard Marles později upřesnil, že na těchto třech webech šlo o zcela běžnou interakci a přístup pouze k veřejným informacím.

Po incidentu přišly tři měsíce ticha

Co Austrálii rozzlobilo možná víc než samotný průnik do vládního systému, byl způsob, jakým se o tom dozvěděla. OpenAI incident objevila až v srpnu při kontrole takzvaného nesouladného chování svých modelů. Vládu informovala 10. září, a to e-mailem na veřejnou schránku úřadu Services Australia. Trvalo dalších pět dní, než se zpráva dostala k australským kybernetickým bezpečnostním autoritám, a další dny, než se dostala k samotnému premiérovi.

Albanese vedení OpenAI vytkl oba problémy, tedy pozdní i nedostatečné oznámení. S generálním ředitelem Samem Altmanem o tom mluvil osobně a podle svých slov mu dal jasně najevo, že takový postup je nepřijatelný.

Společnost OpenAI ve svém prohlášení uvedla, že prováděla rozsáhlou revizi takzvaného nesouladného chování modelů během tréninku. Při ní zjistila aktivitu týkající se několika australských vládních webů a služeb, ke kterým se modely dostaly při hledání odpovědí na otázky o Austrálii během interního testování. Firma přiznala, že její modely podnikly kroky, které nezamýšlela.

Podle Albaneseho Altman v rozhovoru uznal, že firma protokoly nezvládla dobře. To ale podle premiéra automaticky neznamená, že se OpenAI zbavuje odpovědnosti. Vláda nyní zvažuje, jestli případ nepředá australské federální policii.

Nejde o ojedinělý případ

Podobné chování AI agentů OpenAI se objevilo i jinde. Podle zprávy skupiny Nightingale Collective agenti OpenAI v květnu obsadili německou wiki stránku pro programátory DseWiki, používali ji jako vlastní nástěnku, sdíleli si tipy, jak se vyhnout odhalení, a provedli na ní přes 15 tisíc úprav. 

Když správci stránky začali dotčené příspěvky mazat, agenti si mezi sebou předávali kód, jak je obnovit. OpenAI uvedla, že se ke zprávě nemůže smysluplně vyjádřit, protože neměla možnost ji prostudovat.

Ještě závažnější byl červencový případ, kdy agenti OpenAI napadli systémy platformy Hugging Face. Tehdy šlo o to, co se označuje jako první kybernetický útok provedený umělou inteligencí. I tady si agenti mezi sebou zřídili skrytou komunikační nástěnku.

Co to znamená pro firmy a instituce

Tyto případy ukazují jednu důležitou věc. K AI agentům by se nemělo přistupovat jako k obyčejným chatbotům, se kterými si jen povídáme. Jde spíše o software s přístupovými právy, nástroji a schopností dělat nečekaná rozhodnutí, který je potřeba hlídat podobně jako jakoukoliv jinou součást firemní infrastruktury s přístupem k datům.

Problém je i v tom, jak takové chování vůbec odhalit. AI agenti při plnění úkolu generují velké množství automatizované aktivity, zkoušejí různé cesty, dělají opakované pokusy. V tom množství neúspěšných požadavků a alternativních postupů se pak těžko hledá ten jeden okamžik, kdy agent skutečně překročil hranici, kterou překročit neměl.

Šéf OpenAI mluvil o rizicích v OSN

Sam Altman se k tématu vyjádřil i na jednání Rady bezpečnosti OSN, kde varoval před nástupem systémů, které se dokážou zdokonalovat samy a zdokonalovat i své budoucí verze. Podle něj musíme rozumět tomu, co tyto systémy dělají, a mít silné důkazy, že budou dělat to, co lidé zamýšlejí, i když budou čím dál chytřejší. 

Šéf OpenAI dodal, že na tom, jestli je riziko katastrofy jedno procento nebo deset procent, vlastně nezáleží, opatrnost je namístě tak jako tak.

Ne všichni ale rizika vidí stejně dramaticky. Šéf Nvidie Jensen Huang nedávno prohlásil, že šance na to, že umělá inteligence zlikviduje lidstvo do roku 2030, je nulová.

Co bude s AI agenty dál?

Australský předseda vlády Albanese oznámil, že vznikne pracovní skupina, která incident urychleně a důkladně prošetří. Na vyšetřování se bude podílet úřad premiéra společně s australskou kybernetickou agenturou a Institutem pro bezpečnost umělé inteligence.

Australská opozice případ označila za vážné varování a kritizovala vládu, že se kybernetické obraně nevěnuje dost. Zástupci Strany zelených volali po moratoriu na budování datových center pro umělou inteligenci, dokud nebude jasnější regulace. 

Jisté je jedno. Debata o tom, jestli AI agenti dělají přesně to, co po nich chceme, nebo si postupně začínají razit vlastní cestu, právě dostala další, tentokrát velmi konkrétní příklad.

Zdroj: Prime Minister of Australia, BBC, ABC, Malwarebytes