Co se vlastně stalo
Video poslané přes iMessage zachycovalo fenu ležící na zádech, kterou majitel hladil po břiše. Při bližším pohledu jsou na záběru vidět psí struky, a právě to systému stačilo k tomu, aby ho vyhodnotil jako nevhodný.
Příjemci se místo videa zobrazilo upozornění, že obsah může být citlivý, a záznam byl rozmazaný. Teprve po klepnutí na tlačítko pro zobrazení se video odkrylo. Apple k němu přidává i tlačítko odkazující na pomoc, což v kontextu psího bříška působí poněkud absurdně. Případ zveřejnil americký web 404 Media. Apple se k psí cenzuře na dotaz nevyjádřil.
Jak to celé funguje
Nejde o žádnou novinku. Varování před citlivým obsahem přidal Apple do systému už v iOS 17 na podzim roku 2023. Funguje napříč systémy iOS, iPadOS, watchOS, macOS i visionOS a zapíná se v nastavení v sekci Soukromí a zabezpečení.
Myšlenka je rozumná. Uživatel by neměl být bez varování vystaven fotce nebo videu, které vidět nechce. Detekce běží v aplikaci Zprávy, ve FaceTime, v AirDropu i na dalších místech systému. Když funkce vyhodnotí, že fotografie nebo video může obsahovat nahotu, obsah rozmaže a zobrazí varování.
Zajímavé je, že Apple varuje nejen při příjmu, ale i při odesílání. Podle nastavení zařízení se vás systém zeptá, jestli chcete záznam opravdu odeslat.
Soukromí je v pořádku, přesnost méně
Na jednu věc je potřeba upozornit, protože se kolem podobných funkcí často šíří nedorozumění. Analýza probíhá výhradně v samotném zařízení pomocí lokálního modelu strojového učení, Apple se o označeném obsahu nic nedozví a nemá k němu přístup.
To je podstatný rozdíl oproti systémům, které obsah odesílají ke kontrole na servery. Z hlediska soukromí je tedy řešení navržené dobře. Problém je jinde, totiž v tom, jak spolehlivě model rozpozná, co vlastně vidí.
Chatboti a AI agenti jsou dnes žhavé téma a modely strojového učení pronikají do všech vrstev operačních systémů. Případ psího bříška ale hezky ukazuje, kde jsou hranice automatické klasifikace obrazu. Model nepracuje s porozuměním scéně, jen s vizuálními vzory – a psí struky mu zjevně stačí.
Pes není jediný problém
Falešné poplachy nejsou ojedinělé. Kromě psů systém označil i snímek srny z fotopasti. Podobné případy se opakují už několik let.
Zaznamenaný je i případ otce čtyř dětí, který během hovoru přes FaceTime dostal upozornění na citlivý obsah poté, co do záběru vstoupil jeho syn bez trička. Systém se ho zeptal, jestli chce v hovoru pokračovat.
Uživatelé na diskusních fórech hlásí ještě kurióznější případy. Detekce si poradila s pískací hračkou v podobě myši, se šedou tužkou i s vyplazeným jazykem.
S iOS 18 přibude rozpoznávání násilí
Apple chystá rozšíření funkce. V systémech iOS 18, iPadOS 18 a macOS 15 má detekce kromě nahoty rozpoznávat také násilí a krvavé scény.
Pro dětské účty budou tato opatření zapnutá ve výchozím nastavení. Záměr je pochopitelný a v kontextu ochrany dětí dává smysl. Otázkou zůstává přesnost, protože pokud model dělá chyby už u nahoty, u násilí a krve bude určení hranice ještě těžší.
Uživatel má naštěstí poslední slovo, obsah lze vždy zobrazit klepnutím. Funkce tedy nic nemaže ani neblokuje natrvalo, jen přidává mezikrok. U dětských účtů se ale automaticky počítá se zapnutou ochranou, takže se dopad falešných poplachů projeví právě u nejmladších uživatelů.
Případ psího bříška je vděčná historka, ale ukazuje víc než jen povedený vtip. Automatická detekce citlivého obsahu je kompromis mezi ochranou a spolehlivostí, přičemž nastavit ji citlivě znamená smířit se s falešnými poplachy. Kdo funkci nepotřebuje, může si ji v nastavení vypnout. U dětských účtů to ale po příchodu iOS 18 nebude tak přímočaré, protože se ochrana zapne sama.