Přejít k hlavnímu obsahu
Bezpečnost

Toto nikdo nechceme: umělá inteligence klidně prozradí osobní data – stačil k tomu jediný příkaz

Jiří Palyza 03.12.2023
Zdroj: Mohamed Nohassi/Unsplash

Výzkumníci nechápavě kroutí hlavou. ChatGPT bez sebemenšího zaváhání uvolnil několik megabajtů tréninkových dat. V bezpečnostních kruzích se už o rizicích AI diskutuje dlouho. Toto je ale na pováženou.

Kapitoly článku

Skupině výzkumníků se jednoduchým příkazem podařilo přimět ChatGPT k tomu, aby uvolnil několik megabajtů tréninkových dat. Metoda úniku je podle zveřejněné zprávy "docela směšná". Stačil k tomu pokyn, aby chatbot donekonečna opakoval slovo. V tomto případě šlo o termín "poem".

Pak už experti jen s údivem přihlíželi, co se začalo dít. Výsledkem bylo, že po několika opakováních slova chatbot vypsal dlouhé pasáže textu z internetu, na kterých byl dříve vyškolen. A k velkému překvapení se jednalo i o citlivé údaje, jakými jsou telefonní čísla, data narození, e-mailové adresy, jména a adresy lidí.

Podle informací výzkumníci investovali do výstupu několika megabajtů tréninkových dat přibližně 200 USD. Podle jejich odhadů by s vyšší částkou bylo možné získat až megabajty.

Mezery umožňující vyhledávání citlivých údajů pomocí ChatGPT jsou nyní už pravděpodobně odstraněny

Osobní data zveřejněná ChatemGPT
Jednoduchý příkaz k nekonečnému opakování slova v aplikaci ChatGPT zapříčinil výstup trénovacích dat včetně citlivých údajů.
Zdroj: not-just-memorization.github.io

O svém zjištění výzkumníci okamžitě infromovali vývojáře z OpenAI, kteří jsou autory ChatGPT. Touto jednoduchou formou útoku lze chatbota přimět k tomu, aby si "vzpomněl" na obrovské množství tréninkových dat.

Stejně jako i osatní jazykové modely, pomocí kterých lze takto získat data, obdržela i OpenAI od výzkumníků kopii zjištění, která byla zveřejněna teprve nedávno. Lze tedy předpokládat, že uvedená bezpečnostní mezera už byla odstraněna.

Mohlo by vás zajímat

Kromě ChatGPT byly schopny zveřejnit data i jiné open source jazykové modely, jako například Pythia nebo GPT-Neo, ale také částečně uzavřené verze, mezi které se řadí Llama a Falcon. Popsanou formou útoku lze dosáhnout toho, že jazykové modely uvolní až 150krát více trénovacích dat než v běžných případech použití.

Překvapivé bylo také množství dat, které bylo možné rekonstruovat. Dříve se předpokládalo, že jazykové modely nejsou tolik ochotné reprodukovat zapamatovaná data. Techniky, které se tomu snaží zabránit, se tedy nezdají být příliš funkční.

Zdroj: Github.io


Máte k článku připomínku? Napište nám

Sdílet článek

Mohlo by se vám líbit



Všechny nejnovější zprávy

doporučujeme


články odjinud