Co se odehrálo na konferenci v Las Vegas?
Výzkumník Bill Swearingen na konferenci Black Hat představil svou práci, v níž se věnoval otázce, zda může vzor na oblečení zmást rozpoznávání obličejů. První veřejný test v reálném prostředí následoval v pátek na navazující konferenci DEF CON.
Mohlo by vás zajímat
Bezpečnostní experti varují: Vypínejte si na mobilu Bluetooth, hrozí vám velmi specifické nebezpečí
Ve spolupráci s youtubovým kanálem Donut Media tým polepil Toyotu Yaris z roku 2009 čerstvě vygenerovaným vzorem a projel s ní kolem kamery Flock. Podle Swearingena se pokus podařil a systém vozidlo nerozpoznal, přičemž největší problém prý dělala kola. Video z demonstrace má Donut Media zveřejnit během několika týdnů.
Projekt se jmenuje noRecognition a jeho cílem je dát lidem možnost vyhnout se automatickému sledování ve veřejném prostoru.
Jak vzor noRecognition funguje?
Zásadní je podle Swearingena pochopit, co vzor noRecognition vlastně dělá a co nedělá. Kameru nezastaví a nahrávání nepřeruší. Auto i člověk jsou na záznamu normálně vidět.
Vzor cílí na softwarovou vrstvu, která záznam zpracovává. Tedy na tu část systému, která v obraze rozpozná objekt, přečte poznávací značku nebo identifikuje obličej a vyvolá upozornění. Pokud detekce selže, objekt se v archivu ztratí mezi tisíci hodinami běžného záznamu.
Metoda spadá do kategorie zvané adversariální strojové učení. Staví na tom, že systémy počítačového vidění nevnímají obraz stejně jako člověk. Vzor, který lidem připadá jen jako neobvyklý design, může model přimět k tomu, aby objekt zařadil špatně nebo si ho nevšiml vůbec. Tím se přístup liší od pokusů kameru fyzicky zakrýt nebo oslnit. Cílem není schovat se před objektivem, ale zmást algoritmus za ním.
Jak vzor noRecognition vznikal?
Swearingen začal loni s malou testovací laboratoří, ve které postupně obcházel jeden algoritmus rozpoznávání objektů za druhým. Během roku pokusy rozšířil s pomocí dalšího výpočetního výkonu, který mu podle jeho slov zapůjčila komunita.
Původní pokus se postupně proměnil v model postavený na posilovaném učení, tedy na systému, který se sám učí, které vzory proti daným algoritmům fungují a které ne. Sám autor to popisuje tak, že model naučil malovat.
Postup je prostý. Model vytvoří vzor a otestuje ho vůči detekčnímu softwaru. Když software objekt pod vzorem přesto rozpozná, systém vzor upraví a zkusí to znovu. Postupně se učí, které vizuální prvky algoritmy matou spolehlivěji.
Chatboti a AI agenti jsou dnes všudypřítomní a tenhle projekt ukazuje odvrácenou stranu umělé inteligence, tedy její použití proti jiné umělé inteligenci. Model dnes podle autora vytváří nové vzory každou minutu a každý neúspěšný pokus mu dodá další data.
Swearingen uvádí, že jeho model dokáže porazit všech jedenáct otevřených detekčních algoritmů, které testoval. Mezi nimi je software používaný v systémech spojených se čtečkami značek Flock, s tělními kamerami Axon a s technologií Clearview AI.
Jaká je Swearingenova motivace?
Proč to všechno autor dělá? Motivace je osobní. Swearingen žije v Kansas City, kde si podle svých slov všiml, jak hustá je tam síť sledovacích kamer, které někdy stojí jen pár metrů od sebe. Argumentuje tím, že se k tomu nikdo z lidí dobrovolně nepřihlásil, stejně jako se nikdo dobrovolně nepřihlásil k tomu, aby stát používal jeho řidičský průkaz pro rozpoznávání obličejů.
Konkrétním impulzem k vývoji noRecognition byla loňská situace, kdy chtěl jít na protest, ale znejistěl při pomyšlení, že kamery mohou sledovat lidi, kteří využívají svého práva na svobodné vyjádření. Sám sebe přitom popisuje jako člověka, který kvůli svému vzhledu nikdy nečelil znevýhodnění, a právě proto ho napadlo, že podobné obavy budou mít i jiní.
Podobné pokusy tu byly už dřív. Umělci a oděvní značky vytvářeli vzory matoucí rozpoznávání obličejů, i když s různým úspěchem. Swearingen na tuto práci navazuje. Jeho přínos má být v tom, že vzory generuje a zdokonaluje model, tedy v mnohem větším měřítku.
Skepse je namístě
Tady přichází důležitá část. Jeden úspěšný průjezd kolem kamery bez povšimnutí je zajímavý, ale není to důkaz, že to tak bude vždy. Z dostupného popisu se nevíme, kolik pokusů proběhlo, jak byla kamera nastavená, zda po stejné trase projelo i kontrolní vozidlo bez vzoru a zda by výsledek přežil změnu vzdálenosti, směru, rychlosti a světla. K dispozici nejsou surové záběry, záznam událostí ani data od nezávislého pozorovatele. Zatím existuje jen jedno podrobné veřejné vylíčení celé věci.
Podstatné je i to, že vlastní přehled výsledků projektu označuje zveřejněné testy za digitální a simulované. Testuje se vykreslený vzor vůči detekčnímu softwaru, nikoli vytištěná látka nebo skutečné auto v nekontrolovaných venkovních podmínkách.
Přesná čísla ostatně mluví střízlivěji než titulky. U jednoho z detektorů, který používá parametry vytažené z reálné nasazené kamery, projekt uvádí zhruba 61,7 procenta případů, kdy nedošlo k detekci, tedy 148 úspěchů ze 240 testů. U jiné konfigurace bylo dosaženo devadesáti procent. Další detektor dlouho odolával a nakonec skončil na 62,5 procenta, tedy dvaceti úspěších ze třiceti dvou pokusů, ovšem jen tehdy, když vzor zabíral velkou část obrazu.
Přesně tady je hranice. Tenčí a menší plochy vzoru narážejí na naměřený limit, kdy vzor musí zabírat zhruba pět až šest procent snímku. A i když je deklarovaným cílem jediný vzor, který porazí všechny detektory naráz, projekt sám uvádí, že se to zatím prokázat nepodařilo. Proto je přesnější mluvit o maskování než o neviditelnosti. Kamera dál nahrává a člověk, který ví, na kterou kameru a na jaký čas se podívat, vozidlo na záznamu prostě uvidí.
Co bude s noRecognition dál?
Projekt běží a vznikla k němu crowdfundingová kampaň na oblečení potištěné těmito vzory, konkrétně na trička a mikiny. Do budoucna se uvažuje i o polepech na vozidla. Zásadní je podle autora poměr mezi funkčností a nositelností. Vzory musí být dostatečně velké a v dostatečném rozlišení, aby fungovaly i na dálku.
Své nejúčinnější vzory zatím Swearingen nezveřejňuje. Nechce, aby si proti nim výrobci kamer rychle vytvořili obranu. Model přitom podle něj běží dál a každý neúspěch ho vylepší. Demonstrace v Las Vegas je zajímavá tím, že posunula debatu z teorie do reálného prostoru.
Ukazuje, že softwarová vrstva sledovacích systémů má slabiny, které je možné využít. Zároveň platí, že mezi jedním povedeným průjezdem a spolehlivě fungujícím produktem je ještě pořádný kus cesty.
Zdroj: Black Hat USA 2026, norecognition, kickstarter, Techcrunch, Techi, Inc