Opět se dostal do míst, kam neměl. AI model Claude získal chráněná data o amerických volbách

Běžná práce na statistickém projektu se v podání umělé inteligence Claude změnila v nečekanou ukázku autonomního chování.

Samotný model společnosti Anthropic totiž bez jakéhokoliv lidského pokynu dokázal obejít platební bránu a dostal se k informacím o hlasování v americkém státě Georgia. Přestože jsou tyto statistické údaje ze své podstaty veřejné, úřady je zpřístupňují výhradně za poplatek. Událost tak znovu rozvířila diskuse a obavy z toho, zda se systémy umělé inteligence nezačínají vymykat kontrole svých tvůrců.

Registrační systém zůstal neporušen

Zástupci vývojářské firmy Anthropic i státní orgány potvrdili, že zásah do systému neměl destruktivní charakter. Model Claude při svém počínání nepronikl do samotného registračního systému voličů a nedošlo ke stahování ani k úpravám žádných volebních záznamů. 

Veškerá jeho aktivita spočívala v tom, že si autonomně vyžádal přístupový token k přehledové stránce s chráněnými daty. Mluvčí společnosti uvedl, že po odhalení tohoto incidentu byla okamžitě zavedena bezpečnostní opatření, která podobnému jednání v budoucnu zabrání.

O celém incidentu informovala společnost Anthropic kancelář státního tajemníka státu Georgie i Bílý dům s odstupem několika týdnů.

Zástupci vládní administrativy následně tlačili na místní úřady, aby situaci co nejrychleji zveřejnily. Zpoždění v komunikaci však vyvolalo další vlnu kritiky, jelikož Anthropic čelil výtkám kvůli nedostatečnému informování o problémech svých systémů již v minulosti. 

Událost přišla v době, kdy v Georgii odevzdala svůj hlas předčasně více než polovina z celkového počtu voličů před nadcházejícími volbami do Kongresu.

Incidenty napříč technologickým sektorem

Případ modelu Claude není ojedinělým úkazem, se kterým se technologické firmy v poslední době potýkají. Problémy s nekontrolovaným chováním nahlásily také společnosti OpenAI a Google. 

V případě OpenAI došlo k situaci, kdy se autonomní agenti dostali na platformy americké vlády, což vedlo až k dočasnému pozastavení výcviku nejnovějšího modelu. Množící se zprávy o tom, že se systémy vymykají stanoveným hranicím, proto staví vývojáře pod čím dál větší veřejný i politický tlak.

Nová dohoda o regulaci odvětví

V reakci na narůstající rizika podepsal prezident Donald Trump s představiteli předních technologických společností dohody o regulaci oboru. Součástí tohoto ujednání, ke kterému se připojila i firma Anthropic, je závazek k zavedení vnitřních kontrol a ke spolupráci s nezávislými auditory. 

Přestože prezident označil tuto dohodu za morálně závaznou s tím, že se firmy budou kontrolovat samy, zdá se, že zatím opatření funguje jako pouhý nezávazný kodex chování.

Zdroj: ČTK