Falešné citace a neexistující profesoři
Problém vyšel najevo krátce po zveřejnění zprávy letos v srpnu. Akademik Christopher Rudge ze Sydney University si všiml, že dokument obsahuje odkazy na výzkumy, které nikdy nebyly vypracovány. Mezi vymyšlenými zdroji byly například studie od profesorky Lisy Burton Crawford z právnické fakulty Sydney University, která o takových výzkumech nikdy neslyšela.
Zpráva navíc citovala rozhodnutí federální soudkyně Jennifer Davies, ale s chybně napsaným příjmením a s vymyšleným textem. To co bylo v textu, soudkyně nikdy neřekla. V originální verzi dokumentu chybělo celkem čtrnáct odkazů na skutečné zdroje.
Tichá oprava o víkendu
Deloitte s ministerstvem práce nakonec zveřejnili opravenou verzi dokumentu v pátek před víkendem. Nová verze obsahuje vysvětlení na straně 58, kde firma přiznává použití nástroje postaveného na modelu GPT-4o od OpenAI.
Podle Deloitte měla umělá inteligence pomáhat s analýzou a kontrolou technických požadavků systému. Firma však tuto skutečnost v původní zprávě vůbec neuvedla. Ze 141 původních zdrojů jich v aktualizované verzi zůstalo pouze 127.
Drahá lekce z AI halucinací
Zpráva stála australské daňové poplatníky téměř 440 tisíc dolarů. Ministerstvo práce sice tvrdí, že závěry dokumentu zůstávají platné a doporučení se nemění, ale Christopher Rudge s tím nesouhlasí. Podle něj nelze věřit doporučením, když základy zprávy jsou postavené na chybách.
Deloitte vrátí vládě poslední splátku z kontraktu, přesná částka ale není známá. Firma si navíc vysloužila pořádnou ostudu. Globálně totiž vydělává přes 70 miliard dolarů ročně a sama prodává školení o odpovědném používání umělé inteligence.
Celý případ ukazuje, jak riskantní může být spoléhat se na AI bez důkladné kontroly. Pokud státní instituce platí poradenským firmám stovky tisíc za expertní analýzy, měly by mít jistotu, že za prací stojí skuteční odborníci, ne chatbot se sklonem k vymýšlení.
Zdroj: Financial Review, Australian Goverment, Gov AU, The Register