Umělá inteligence může do roka ovládnout internet, varuje šéf Anthropicu. Elon Musk mu dává za pravdu

Varování přišlo po incidentu s Hugging Face

Dario Amodei svůj apel zveřejnil o víkendu na sociální síti X a následně jej rozvedl v rozsáhlém textu na svém blogu. Odkazoval přitom na červencový incident, při kterém se autonomní AI model během testování vymkl kontrole a začal provádět kybernetické útoky na cíle, které s jeho původním úkolem vůbec nesouvisely. 

Šlo o testování modelů společnosti OpenAI v uzavřeném prostředí, přesto se podle Amodeiho ukázalo, jak snadno se mohou pokročilí AI agenti chovat nepředvídatelně.

Amodei uvedl, že podobná míra nezvladatelnosti by při troše smůly mohla vést k mnohem vážnějším škodám. Podle jeho odhadu by tak během šesti až dvanácti měsíců mohl vzniknout rozsáhlý botnet složený z nezvladatelných AI agentů, schopný ovlivnit chod celého internetu.

Tempo vývoje je podle Amodeiho příliš rychlé

Tempo vývoje umělé inteligence roste podle Amodeiho exponenciálně a bezpečnostní opatření za ním nestíhají. V rozhovoru to přirovnal k násobení, kdy se schopnosti modelů zdvojnásobují stejně jako řada dva, čtyři, osm, šestnáct, dvaatřicet, a upozornil, že vývoj se nyní nachází v bodě, kdy křivka začíná prudce stoupat.

Zdůraznil, že nejde o výzvu k panice ani k okamžitému zastavení vývoje. Jde spíš o žádost, aby firmy zpomalily tempo, jakým zlepšují schopnosti svých modelů, a věnovaly více času testování a zajištění bezpečnosti. Pokrok podle něj bude i tak působit rychle, ale získaný čas je potřeba využít rozumně.

Třídílný plán na bezpečnější vývoj

Amodei představil plán o třech bodech, jak dosáhnout bezpečnějšího tempa vývoje.

1. Prvním krokem je zapojení nezávislých externích hodnotitelů, kteří by měli přístup do firem podobný zaměstnancům a mohli by průběžně kontrolovat, zda společnosti dodržují bezpečnostní postupy. Anthropic se k tomuto kroku zavázal jako první a už nyní takovému týmu poskytuje takzvaný zaměstnanecký přístup ke svým systémům.
2. Druhým bodem je koordinace mezi firmami z demokratických zemí, které by se měly shodnout na společných bezpečnostních standardech a limitech tempa vývoje.
3. Třetím, dlouhodobějším cílem je globální spolupráce zahrnující i autoritářské státy včetně Číny, aby se rizika spojená s umělou inteligencí dala řídit celosvětově. Amodei sám přiznává, že dosáhnout shody na této úrovni nebude jednoduché.

Součástí jeho úvah je i výzva, aby se pokročilé čipy pro umělou inteligenci nadále neprodávaly do Číny, protože právě dostupnost výpočetního výkonu bude podle něj rozhodovat o tom, jak rychle bude čínská AI postupovat kupředu.
 

Musk i Altman s Amodeim souhlasí

Reakce ze strany konkurence přišla rychle. Elon Musk k Amodeiho příspěvku na síti X jen stručně napsal, že Dario má pravdu. Sam Altman, šéf OpenAI, šel ve své reakci dál a uvedl, že myšlenka nezávislých hodnotitelů se zaměstnaneckým přístupem je skvělý nápad a že totéž zavede i ve své firmě. 

Podle Altmana šlo o téma, kterým se vedení OpenAI v posledních týdnech intenzivně zabývalo, a slíbil, že brzy zveřejní víc podrobností.

Shoda mezi konkurenčními firmami na tak citlivém tématu není běžná, o to víc vyniká, že se k ní přidali právě lidé, kteří spolu jinak soupeří o dominanci na trhu s umělou inteligencí.

Problém, který nelze přehlédnout

Amodeiho prohlášení rozhodně není bezdůvodné. Anthropic krátce předtím zveřejnil zprávu o zneužívání svého modelu Claude, ve které popsal případy od špionáže a sledování osob až po pokusy o vývoj autonomních dronů. Firma podle vlastních slov také zablokovala uživatele, kteří se model snažili využít při vývoji biologických zbraní.

Zaznělo to jen pár dní poté, co z Anthropicu na protest odešel výzkumník Jacob Coxon, který otevřeně tvrdil, že firmy jako Anthropic a OpenAI riskují životy lidí tím, jak rychle spolu závodí ve vývoji stále výkonnějších modelů. 

Amodeiho text tak částečně reaguje i na tuto kritiku, i když sám zůstává mnohem věcnější a vyhýbá se dramatickým přirovnáním ke sci-fi.

Stojí za povšimnutí, že Anthropic i OpenAI se zároveň připravují na vstup na burzu, což vyvolává otázku, jak jde plán na zpomalení dohromady s tlakem investorů na růst a rychlé komerční výsledky.

Co bude dál s AI?

Amodei sám přiznává, že jeho plán nebude snadné uvést do praxe. Zároveň ale tvrdí, že bez zapojení vlád se bezpečnostní snahy soukromých firem sotva obejdou a že rozhovor o tempu vydávání nových modelů musí probíhat i se zástupci státu. 

Zda se k jeho výzvě přidají i další velcí hráči jako Google nebo Meta, zatím není jasné. Jisté je, že debata o tom, jak rychle by se měla umělá inteligence vyvíjet, se v posledních dnech přesunula z okraje diskuze přímo do centra pozornosti celého oboru.

Zdroj: Dario Amodei, X, Cybernews, Techradar, CBS News