Banky mají důvod k nervozitě. Díky umělé inteligenci se i hlupák může stát nebezpečným lupičem

To byly časy, když bankovní lupiči v punčochových maskách vtrhávali do přepážkové haly a nekompromisně prohlašovali: „Tohle je přepadení!“ V nové éře bankovních loupeží není pro gangstery nic vzdálenějšího než otevřeně oznámit svůj záměr. Spíše vyvolávají opačný dojem: „Žádný strach, tohle není přepadení!“

Recept na úspěch moderního bankovního lupiče totiž zní: zamaskovat, napodobit, hacknout. Z pohledu zločinců je nejlepší, že se do toho nyní mohou zapojit i ti nejhloupější. Dnešní podvodník se totiž (bohužel) může spolehnout na chytrého komplice: umělou inteligenci.

Pro banky se boj proti útočníkům již dávno rozšířil do podoby digitální války. Phishingové e-maily jsou vytvářeny pomocí velkých jazykových modelů s takovou dokonalostí, že někdy dokonce zastíní i originál. Neuronové sítě otevírají pomocí uměle vytvořených identit nové účty rychleji, než dokáže compliance software formulovat opatření na rozpoznávání postupů praní špinavých peněz. I digitální amatéři dokážou pomocí AI-nástrojů vytvářet deepfakes všech biometrických znaků. Stačí tři sekundy zvukového záznamu z reklamního klipu s členem představenstva banky, aby mu do úst vložili neblaze přesvědčivé vzkazy.

Umělá inteligence pro útočníky i obránce

Banky samozřejmě následovaly podvodníky na jejich hřiště. Vzhledem k téměř neomezené škálovatelnosti digitálních útoků investují finanční instituce masivně do vyspělého inteligentního softwaru pro detekci podvodů. Digitální útoky jsou odráženy ve virtuálním prostoru – rovněž pomocí umělé inteligence a v ideálním případě proaktivně. Pomocí prediktivních (předpovídacích) nástrojů, tzv. prediktivní analytiky, se banky snaží odrazit útoky ještě předtím, než dá pachatel startovní signál.

Například grafové neuronové sítě (Graph Neural Networks, GNN) se specializují na analýzu složitých vztahů a struktur v datech. Zatímco klasické neuronové sítě posuzují datové body izolovaně, GNN navíc zachycují, jak jsou datové body vzájemně propojeny. Toto relační učení umožňuje modelu umělé inteligence zpracovávat miliardy datových záznamů, rozpoznávat vzorce v těchto obrovských objemech dat a odhalovat i složité podvodné struktury.

Systémy pro boj proti podvodům využívají jak učení pod dohledem (s učitelem), tak bez něj. Při učení s učitelem se model trénuje na základě známých podvodných metod, aby se zlepšilo rozpoznávání vzorců. Modely strojového učení vypočítávají na základě vážených dat pravděpodobnosti výskytu podvodů. Tak lze na základě údajů, jako je částka, poloha nebo dosavadní chování zákazníka, určit riziko transakce. Datový soubor může sestávat z milionů nenápadných finančních údajů, do nichž jsou vmíchána data podvodných transakcí. Může se například jednat o neobvykle vysoké částky převodů nebo platby z pochybných zdrojů.

U těchto modelů s učením pod dohledem se pozornost soustředí na rozpoznávání známých metod, což představuje takřka základní abecedu každé AI zaměřené na boj proti podvodům. Větší umění spočívá v identifikaci neznámých vzorců chování pomocí algoritmů. K vyplnění těchto mezer ve zjišťování se používají neřízené analýzy anomálií. Tyto algoritmy se specializují na identifikaci podvodných vzorců, které nedokáže rozpoznat ani standardní AI, ani dobře vyškolený bankovní pracovník.

Umělá inteligence zrychluje tempo i při zneužívání bezpečnostních mezer. Často poskytuje nejen slabé místo, ale zároveň i vhodné nástroje k útoku, díky čemuž jsou vpády možné i pro méně zkušené pachatele. Časový interval mezi odhalením mezery a jejím zneužitím se někdy zkracuje na pouhé hodiny, což přetěžuje klasickou správu záplat (patch management).

I deepfakes a sofistikované sociální inženýrství (sociální manipulace) dokážou s pomocí modelů umělé inteligence přesně a bleskově napodobit lidské interakce a obejít autentizační procesy. Kromě těchto relativně známých scénářů bojují banky v pozadí také se specifickými riziky, jako jsou „shadow AI“ nebo „data poisoning“.

Shadow AI (stínová AI) popisuje využívání externích nástrojů umělé inteligence zaměstnanci firem, aniž by byly schváleny nebo monitorovány IT oddělením. Zaměstnanci často využívají shadow AI k efektivnějšímu zvládání rutinních úkolů. Také stagnace inovací ve firmách může zaměstnance svádět k používání „vlastních“ řešení umělé inteligence.

Vzhledem k tomu, že banky pracují s vysoce citlivými finančními údaji, představuje to obrovské riziko z hlediska dodržování předpisů a bezpečnosti. Pokud zaměstnanci vkládají údaje o zákaznících nebo citlivé finanční ukazatele do veřejně dostupných modelů AI, jsou tyto údaje často využívány k trénování umělé inteligence a mohly by se dostat do rukou třetích stran. Takový únik dat by byl v bankovnictví katastrofou nejhoršího druhu a vážně by poškodil důvěru v danou banku.

Stínová AI a otrávená data

Banky podléhají přísným požadavkům, mezi které patří národní předpisy (má je naše ČNB, německý BaFin, polská KNF a řada dalších), nařízení DORA (Digital Operational Resilience Act) a nařízení EU o umělé inteligenci (AI Act), jehož další část se začala uplatňovat letos 2. srpna. Povinnosti pro provozovatele vysoce rizikových systémů AI, k nimž patří i systémy pro posuzování úvěruschopnosti, však unijní balíček Digital Omnibus odložil na 2. prosince 2027. Využití stínové AI by nevyhnutelně vedlo k porušení regulatorních povinností a zákonů o ochraně osobních údajů. Pokud například AI při posuzování bonity přijme nesprávná rozhodnutí, která banka přehlédne, hrozí vysoké pokuty.

Data poisoning (otrávení dat) je metoda kybernetického útoku, při které zločinní aktéři manipulují s trénovacími daty algoritmů strojového učení. Vložením falešných nebo pozměněných datových bodů se model umělé inteligence naučí chybné vzorce, což vede k tomu, že výsledky jsou později nepřesné, zaujaté nebo zmanipulované.

Pro banky představuje vkládání zmanipulovaných finančních dat riziko ohrožující jejich existenci. Podle údajů velké švýcarské banky UBS existují dvě běžné formy data poisoningu. Jednou z nich je otrávení založené na zadních vrátkách (backdoor poisoning) nebo spouštěčích (trigger poisoning): „Model se chová normálně, dokud nenarazí na určitý spouštěč, jako je například slovní spojení, token nebo vizuální vzor, a následně změní své chování. Často se přitom aktivuje skrytá zranitelnost, kterou do systému vložil útočník.“ Jako druhou variantu uvádí UBS rozsáhlé zkreslení nebo nesprávnou klasifikaci: „Tím, že jsou trénovací data téměř nepostřehnutelně zkreslena, mohou útočníci modely svést k systematickým chybám, nesprávným výstupům nebo nespravedlivým rozhodnutím, což vede ke snížené spolehlivosti a potenciálně diskriminačním výsledkům.“

Data poisoning mohou například využívat zločinecké organizace k praní peněz ve velkém měřítku. Díky zmanipulovaným transakčním údajům se umělá inteligence naučí nesprávné vzorce. Nelegální peněžní toky pak již nejsou klasifikovány jako podezřelé.

K manipulaci obvykle dochází během fáze trénování nebo v rámci průběžných procesů učení modelu. Mezi nejčastěji používané metody této datové sabotáže patří tzv. label flipping. Datové sady jsou záměrně nesprávně označeny, což vede k nesprávnému vážení v modelu.

Mezi sabotéry je rovněž oblíbená metoda tzv. data injection (datové injekce): do datového souboru, ze kterého se umělá inteligence učí, se nenápadně vkládají škodlivé informace. K nesprávným interpretacím umělé inteligence může vést i úprava zdrojových dat. Stávající data na internetu nebo ve volně přístupných databázích jsou manipulována za pomoci škodlivého kódu. Tím je systém donucen provádět příkazy, které vývojář nástroje nikdy nezamýšlel.

Když AI agenti propadnou panice

Kromě všech kriminálních aktivit existuje jeden legální scénář s využitím AI, který mnoho bankéřů považuje za největší hrozbu: automatizovaný bankovní run. Evropská centrální banka společně s německou Bundesbankou simuluje scénáře, v nichž AI agenti, kteří v zastoupení klientů přijímají investiční rozhodnutí, jednají s nadměrnou opatrností. Depozitní účty řízené AI sledují trhy v reálném čase. Jakmile opatrná umělá inteligence zaznamená kritické riziko, plně automaticky stáhne částky v řádu milionů.

Na rozdíl od analogového bankovního runu s dlouhými frontami před bankami by digitální bankovní run proběhl během několika sekund. Banka by sotva měla čas přijmout protiopatření. Vzhledem k tomu, že velká část těchto AI agentů jedná podle podobných či dokonce shodných kritérií, došlo by k destabilizaci finančního systému – možná až k jeho kolapsu.

Bankovní paniku mohou vyvolat také fámy nebo falešné zprávy na sociálních sítích. V rámci jedné studie simulovala britská výzkumná společnost Say No to Disinfo a komunikační agentura Fenimore Harper dezinformační kampaň. Cílem bylo vyvolat bankovní paniku pomocí reklamy na sociálních sítích podporované umělou inteligencí. Autoři dospěli k závěru, že reklama na sociálních sítích v hodnotě deseti britských liber by mohla vést k přesunu vkladů znepokojených zákazníků v hodnotě až jednoho milionu liber.

Vzhledem k těmto rizikům sledují banky také sociální sítě. Díky monitorování komentářů na těchto portálech mohou zjistit, kdy falešné zprávy ovlivňují chování zákazníků.

Obecně platí, že dozorové orgány, banky i zákazníci musí provést zásadní změny. Většina národních dozorových orgánů sází na dynamickou kontrolu v reálném čase a povinné simulační kybernetické testy tzv. červených týmů (red teaming). Úřady se nespokojí s teoretickými bezpečnostními koncepcemi, ale sázejí na realistické penetrační testy fungující na bázi etického hackingu. V jejich rámci se certifikovaní red pentesteři pomocí metod umělé inteligence vkrádají do bank, aby otestovali jejich obranné systémy.

Souboje v oblasti AI mají dopad i na zákazníky, zejména proto, že umělá inteligence zdokonaluje i sociální manipulaci. Banky proto zavádějí tzv. behaviorální biometrii: systémy, které sledují chování uživatele během celé bankovní relace. Analýza sahá od rychlosti zadávání přes pohyby myší až po vzorce transakcí. Pokud se typické chování uživatele odchyluje, spustí se automatické blokování.

Spotřebitelé by si měli ve svých bankovních aplikacích aktivovat push notifikace pro každý pohyb na účtu a snížit limit pro převody na minimum. Vyšší částky by se měly schvalovat pouze ručně a se zpožděním.

Rizika spojená s umělou inteligencí dále rostou

Čeká banky teprve ta největší výzva? Podle řady odborníků právě nastala nová éra – a tím se nemyslí výlučně bankovnictví. Modely umělé inteligence, jako je Mythos nebo modely čínské společnosti Qihoo 360, údajně prošly evolučním krokem a jsou nyní schopny najít bezpečnostní mezery pouhým stisknutím tlačítka a zároveň nabídnout vhodný útok. Z tohoto pohledu jsou možné dva scénáře: v nejlepším případě nás čeká svět, ve kterém prakticky již neexistují klasické softwarové chyby. Stávající chyby ve starém softwaru budou odhaleny a odstraněny dříve, než je bude možné zneužít. Nový software již nebude obsahovat žádné klasické chyby, protože před vydáním bude zkontrolován pomocí umělé inteligence a odpovídajícím způsobem opraven.

Nicméně tento pozitivnější scénář je spíše teoretické povahy – na rozdíl od toho druhého: v nejhorším případě bychom totiž mohli být svědky světa s výrazně větší nejistotou, ve kterém pouze několik států a aktérů bude mít exkluzivní přístup k nejlepším modelům umělé inteligence a bude moci zneužívat nalezené slabiny a využívat svou digitální převahu jako prostředek nátlaku. Je jasné, že přístup k nejvýkonnějším systémům AI je tedy otázkou nejen digitální suverenity, ale i národní bezpečnosti.

Zdroj: časopis Chip, Policie ČR, NatLawReview