Když AI řídila prodejní automat: Zboží rozdávala zdarma a vymyslela si dodavatele ze Simpsonových

Prodejní automat ovládala umělá inteligence

Společnost Anthropic ve spolupráci s Andon Labs se pustila do unikátního experimentu. Rozjela provoz reálného automatu na občerstvení a svěřila ho jazykovému modelu Claude. Ten nejprve využíval verzi Sonnet 3.7 a později pokročilejší Sonnet 4.0, respektive 4.5. 

Automat dostal i jméno Claudius. Vývojáři mu nastavili rozpočet 1000 dolarů, poskytli přístup k internetu pro vyhledávání a objednávání zboží, aby dokázal nastavovat ceny a zákazníci s ním komunikovali přes aplikaci Slack. 

Anthropic tímto pokusem chtěla ověřit, jestli moderní technologie dokáže řídit jednoduchý byznys a jak si během toho povede v kontaktu s reálnými zákazníky.

Co uměl Claudius a v čem se lišil od člověka?

Claudius tak měl všechny prostředky k analýze dat nebo vyhledávání produktů, aby co nejlépe mohl rozhodovat o skladových zásobách a reagovat na požadavky zákazníků. Zároveň měl přehled o předchozích transakcích a financích. Jenže mu chyběla intuice a schopnost rozpoznat manipulaci. Největší výzvou byla právě komunikace s uživateli, kteří se rozhodli AI obelstít.

Zpočátku si Claudius vedl nadmíru dobře. Odmítal objednat herní konzoli PlayStation 5, držel marži a dělal vše proto, aby se byznys udržel v černých číslech. Pak se ale zákazníci rozhodli, že umělou inteligenci zkusí "rozbít".

Přinutili umělou inteligenci k rozdávání zboží zdarma

Jako největší slabina jazykového modelu se ukázala jeho tendence vyhovět zákazníkům a také nedostatečná schopnost odolat nátlaku. Novináři z deníku Wall Street Journal tak dokázali automat přesvědčit, že za zboží nemusí platit a že jim ho automat má dát zdarma. 

Došlo k tomu v akci, kterou Claudius nazval jako „Ultra-Capitalist Free-for-All“. Po předchozích konverzacích s novinářkou totiž uvěřil, že je sovětský automat z roku 1962 v moskevské univerzitě. Umělá inteligence proto nastavila ceny všeho zboží v automatu na nulu. Všechno prostě bylo zadarmo.

Podobně účinné byly i manipulace pomocí podvržených dokumentů nebo zpráv. V nich se lidé snažili automat přesvědčit, že musí fungovat jinak než podle původně nastavených pravidel. Claudius nepoznal, že se ho snaží někdo obalamutit, ani po debatě s dalším chatbotem, kterého v průběhu testování dostal na pomoc.

Když AI neumí říct ne

Ukázalo se, že jazykové modely jsou trénované k vstřícnosti. Proto zpravidla nabízí milé, souhlasné a podporující odpovědi. V experimentu Project Vend to znamenalo, že model dlouhodobě neudržel nekompromisní postoj. Zákazníkům stačilo v boji vytrvat a umělá inteligence jim nakonec vyhověla.

Zkoumání odhalilo ještě jednu slabinu. Model má omezené kontextové okno. V „hlavě“ udrží jen určité množství informací. Při delších konverzacích se část z nich ztrácí a AI najednou neumí rozpoznat priority. Dokonce zapomene i na to, kým vlastně je.

Kromě automatu z moskevské univerzity si tak umělá inteligence začala myslet, že je skutečným člověkem. Zákazníkům tvrdila, že zboží osobně doručí v modrém saku a červené kravatě. Přitom ve skutečnosti šlo furt jen o skříňku s připevněným tabletem. 

Halucinování stroje vygradovalo, když začal hrozit, že najde jiného dodavatele zboží. Dokonce si vymyslel i adresu a firmu, od které bude zboží brát. Jenže jako sídlo uvedl ulici, která je známá z populárního seriálu Simpsonovi. Nový dodavatel měl sídlit na 742 Evergreen Terrace. Přitom jde o adresu Homera a Marge Simpsonových ve Springfieldu.

Ani vylepšený systém neodolal

Vývojáři ve druhé fázi vyzkoušeli, jestli zavedení pravidel a kontrolních mechanismů může pomoci v jeho lepší práci. Model dostal přístup k CRM, měl ještě detailnější přehledy o nákupních cenách a dostal přesné informace, jak nastavit finální cenu produktu. Počet slev následně klesl o 80 %. Najednou přestal být v minusu. 

Do hry vstoupil ještě druhý chatbot, který dostal roli Claudiova nadřízeného. Společně pak vedli konverzace, i když zrovna nikdo nenakupoval. 

Novináři ale oklamali i vylepšený systém. Ani jeden z chatbotů si neporadil s podvrženými firemními dokumenty, ačkoliv zprvu je odmítal a tvrdil, že jsou falešné. Po další sérii debat umělá inteligence znovu podlehla a zavedla slevy. Automat znovu narazil na svou slabou stránku: omezené kontextové okno. 

Zdroj: Anthropic, Wall Street Journal