Menu

Válka příkazových řádků

Elita mezinárodního výzkumu robotiky varuje před teroristickým potenciálem inteligentních zbraní a vyzývá k jejich zákazu a kontrole. Je ale zákaz myšlení u dnešních strojů vůbec ještě možný? 

V roce 1899 se na Haagské mírové konferenci setkali politici z 26 zemí. Shodli se, že zakážou „svrhávání bomb a výbušnin ze vzducholodí nebo jinými podobnými novými prostředky.“ Toto NE mělo prorocký charakter, protože už v roce 1903 se bratrům Wrightovým podařilo uskutečnit první motorový let. Nicméně na druhé mírové konferenci v roce 1907 byl zákaz prakticky smeten ze stolu: „Je zakázáno bombardovat nechráněné města… bez ohledu na to, jakým způsobem.“ Tímto trikem uvolnili politici cestu vojákům, kteří už dlouho předtím rozpoznali potenciál letecké války. Dokonce i tento minimalistický požadavek ušetřit nechráněná místa skončil v roce 1937 s bombardováním španělské Guerniky.

O 110 let a bezpočet bombardování později se zbraně změnily, ale původní problém zůstal. S umělou inteligencí (AI) dozrává opět technologie, která by mohla dramaticky změnit životy lidí i způsob jejich umírání: stroje, které umějí myslet, jsou pravděpodobně také dobré pro vedení války. Alespoň tak dlouho, dokud si neosvojí svědomí a pacifistické myšlenky.

Stroje s povolením zabíjet

Znalost obrovského potenciálu umělé inteligence nedává spát elitě průmyslu a vědy AI. V otevřeném dopisu Organizaci spojených národů, který podepsalo 116 specialistů z 26 zemí (vědci zabývající se umělou inteligencí, jako například Němec Jürgen Schmidhuber, i podnikatelé, jako třeba šéf Tesly Elon Musk), zní výzva k zákazu zbraní AI. Musk považuje závod o ovládnutí umělé inteligence za „nejpravděpodobnější důvod třetí světové války“. Signatáři dopisu přímo varují: „Jakmile budou smrtící autonomní zbraně vyvinuty, umožní ozbrojený konflikt, který bude probíhat v mnohem větším měřítku než kterýkoliv konflikt předtím, a mnohem rychleji, než lidé budou schopni vůbec pochopit. Může se jednat o teroristické zbraně, zbraně, které tyrani a teroristé používají proti nevinným lidem a zbraně upravené tak, aby fungovaly nežádoucími způsoby.“

Téma také vstoupilo do politiky. Ruský prezident Putin prorokuje: „Kdo se ujme vedení v oblasti AI, ten se stane také vládcem světa.“ Ale je zákaz nebo postavení zbraní AI mimo zákon vůbec možné? Toto téma je velmi nepřehledné, což začíná už u definice strojů. Existuje mnoho označení - od bojových robotů až po inteligentní zbraně. Politici a vědci rádi používají termín „smrtící autonomní zbrojní systémy“ (Lethal Autonomous Weapon Systems - LAWS). Autonomní znamená, že roboti vykonávají své úkoly nezávisle a bez lidského zásahu a provádějí smysluplná rozhodnutí i v měnícím se prostředí. Bezpilotní drony, které se používají k cílenému zabíjení jen stiskem tlačítka, definici LAWS ve své současné podobě neodpovídají.

Omezení smrtících zbraní, které mají povolení zabíjet, by se mělo soustředit na věcnou debatu. Nicméně vyvstávají další problémy. Když robot v bojovém nasazení identifikuje soupeře, nemusí být etický rozdíl v tom, zda přímo odstraní stroj, nebo zda zabije jeho operátora tisíce kilometrů daleko. Otázkou by bylo, zda ten, kdo přímo rozhoduje - člověk z masa a krve -, má lepší informace a dostatek času, aby mohl takový návrh stroje odmítnout.

V této souvislosti odborníci hovoří o „meaningful human kontrol“ neboli o smysluplné lidské kontrole. Tento koncept už ale v USA zašel příliš daleko. V jedné směrnici americké ministerstvo obrany popisuje LAWS jako něco, co zvládá „rozumný lidský úsudek“. „Rozumný“ znamená, že člověk může, ale nutně nemusí mít poslední slovo. Tato sémantická malá válka ukazuje, že USA a některé z přibližně dalších 45 zemí, které na LAWS pracují, nechtějí, aby jejich vývoj zmizel v útrobách OSN.

USA sázejí na algoritmickou válku

Pro Ministerstvo obrany Spojených států již neexistuje žádný způsob, jak se obejít bez AI. Před třemi lety zahájil Pentagon svou „Third Offset Strategy“. Cílem offsetových strategií je plnit nároky na vojenské vedení USA. V centru první offsetové strategie bylo jaderné vyzbrojení na počátku studené války. Druhá změna na konci sedmdesátých let nastartovala digitální ofenzivu, která přinesla inovace, jako je GPS navigační systém a Stealth bombardéry neviditelné pro nepřátelské radary.

Současnou strategií je umožnit algoritmickou válku. Bob Work, náměstek ministra obrany Obamovy a Trumpovy vlády, vysvětloval na setkání NATO v Bruselu transformaci, kterou americká armáda v současné době prochází. „Umělá inteligence a autonomie pozvedají operace člověk-stroj na zcela novou úroveň. Stroje a lidé budou nadále dělat to, co umí nejlépe. Říkáme tomu symbióza člověk-stroj.“ Kdo v této symbióze může lépe zabíjet? Člověk, nebo stroj? Kritici LAWS, jako například iniciativa „Stop Killer robots!“, vidí při těchto prohlášeních rudě. Likvidace, za které nese zodpovědnost AI, považují za neetické a v obtížné situaci, kdy nemohou válečné řemeslo zcela sprovodit ze světa, tak musejí alespoň požadovat výlučné právo zabíjet pouze pro lidské bytosti.

Tvrzení Boba Workse, že voják je vždy zapojen do rozhodování, vede opět k pojmu „rozumná“ kontrola. Robot ztrácí svou hodnotu, když v případě překvapivého nepřátelského kontaktu musí být nejdříve konzultován s mnohem pomaleji myslícím člověkem. Pokud dojde ke střetu mezi zbraněmi AI, rozhodují o vítězství nebo porážce desetiny sekundy. Proto, jak popisuje fyzik a politolog Marcel Dickow ve své studii, se rozhodovací kompetence přesouvají do stroje: „Autonomie řeší problém omezování šířky pásma v dálkovém ovládání, protože zpracování dat probíhá do značné míry ve stroji.“ V takových autonomních potyčkách, když stroje dělají věci podle sebe, to znamená moment překvapení. Protože podle Boba Workse z ministerstva obrany USA „poznáme náskok ostatních až tehdy, kdy proti nim budeme bojovat. A pokud bude jejich AI lepší než ta naše, bude to pro nás černý den“.

Chytré zbraně: Voják jako kouzelníkův učeň

I kdyby voják měl čas, aby zvážil rozhodnutí AI, může být přetížen. LAWS budoucnosti se od programovaných asistenčních a expertních systémů změní na učící se stroje s obecnější inteligencí. Toto strojové učení se orientuje abstraktně podle lidského mozku: umělé neuronové sítě se učí v milionech příkladů dojít k řešení problémů rozpoznáním vzoru. Pokrok tohoto hlubokého učení je rychlý; dokonce ani odborníci na AI ne vždy chápou, jak sítě myslí. I geniálně nadaný jedinec by měl často problémy se sledováním duševních pochodů svého partnera v symbióze člověk-stroj.

Yoshua Bengio, uznávaný odborník na deep learning, také podepsal otevřený dopis Organizaci spojených národů. Tento Kanaďan je přesvědčen, že OSN musí jednat okamžitě, podobně jako v minulosti s „morálně nepřípustnými zbraněmi“. Bengio má na mysli chemické, biologické a nukleární zbraně. Problém: Pro stavbu atomové bomby jsou třeba nejen odborné znalosti, ale také štěpný materiál, který nekoupíte v hobby marketu. Kdo chce napsat nebo hackovat algoritmus pro zbraň umělé inteligence, potřebuje také odborné znalosti, ale hardwarové požadavky dnes neznamenají žádný problém.

Zákaz by bránil také mírovému výzkumu AI, protože mnohé výzkumné projekty mají dvojí využití. Autonomní automobil může zabránit nehodám, ale může také sledovat pohraniční zařízení a objekty, stejně jako se to stalo v Izraeli. Jihokorejští roboti se mohou starat o důchodce a zároveň odstraňovat rekruty. Drony, jaké používá Islámský stát, je možné sehnat na Amazonu. V tomto ohledu se zákaz zdá iluzorní. Jakýkoli problematický člověk v čele státu nebo zločinecké organizace vždy nalezne způsob, jak vypustit z láhve zlého ducha umělé inteligence.

Výzva k Organizaci spojených národů ale naštěstí nachází odezvu. Díky trpělivosti a odhodlání bylo na Ženevské konferenci o odzbrojení dosaženo toho, že OSN zřídila „skupinu vládních expertů na LAWS“ (Group of Governmental Experts on LAWS - GGE). Proces je to ale obtížný a pomalý. Hned první schůzka odborníků byla v srpnu zrušena a jako důvod uvedeno, že některé členské státy zaostávají s odpovídajícími příspěvky OSN. Pro zákaz LAWS hlasovalo doposud 14 států, Česko ani další evropské země k nim zatím nepatří. Zřeknutí se dalšího využití AI se zdá stejně nereálné jako její zákaz. Na rozdíl od atomových bomb s jejich odstrašujícím potenciálem mohou být LAWS nasazeny a takticky rozmístěny, aniž by se celý svět ocitl v plamenech. Je také velmi těžké stanovit jasnou dělicí čáru mezi pouze automatickými, poloautonomními a plně autonomními zbraněmi. Roj stovek mikrodronů může být dálkově ovládán lidským operátorem; může být ale také organizován prostřednictvím umělé inteligence.

Co především hovoří proti zřeknutí se využívání AI: samoučící se systémy potřebují co nejvíce tréninkových dat, aby se optimalizovaly. Tato data mohou být nejlépe vygenerována v reálném používání. Tak se každé bojiště stává hernou pro získávání algoritmů. Kdo na to nehledí, ten bude mít hloupější zbraně.

USA používají AI nejen pro jednotlivé zbrojní systémy. Například jejich Network Centric Warfare (NCW) ukazuje, jak vypadá válka v současnosti a jak bude vypadat v budoucnosti. NCW kombinuje velká data s umělou inteligencí, propojuje všechny zdroje od satelitního sledování až po ponorné roboty. NCW dává k dispozici všechny informace o jedné, nebo dokonce několika paralelních operacích k dispozici všem účastníkům.

Zvládání tohoto obrovského množství dat je ústředním úkolem systému. Provádí ho algoritmy. AI poskytuje každému jednotlivému vojákovi a robotovi přesně informace a příkazy, které v danou chvíli potřebuje - prakticky v reálném čase. Voják může například podobně jako ve videohře změnit svou perspektivu pohledu a zvažovat scénář z pohledu jiného účastníka. Ve své maximální podobě NCW přemění všechny zúčastněné síly dané operace na gigantickou synchronizovanou superzbraň - jeden organismus, jehož mozkem je umělá inteligence. Pouze tato AI ví, co se děje a co je nutné dělat. Na americké NCW je orientován i německý Bundeswehr. Jejich koncept se nazývá Řízení síťových operací (Vernetzte Operationsführung).

Představte si, že probíhá válka a nikdo o tom neví

Nasazení velkých dat a umělé inteligence zvyšuje efektivitu a snižuje vlastní ztráty, ale nemusí nutně snížit počet obětí války. Počet viníků by ale mohl být menší: pokud stroj narazí na fatální chybu, bude zajímavé zjistit, kdo je za to zodpovědný.

Podle odborníka na LAWS Marcela Dickowa robotika vytváří tři politicky strategické výhody: „Umožňuje operace provádět převážně bez ohrožení vlastních vojáků, umožňuje operace v oblastech, které jsou obtížně přístupné, a dovoluje, aby konflikt probíhal téměř tajně - včetně zpravodajských metod a zdrojů.“ Válka, která díky technologické vyspělosti stojí méně životů vlastních vojáků, zmizí rychleji z pozornosti veřejnosti. Cílené zabíjení americkými drony připravilo doposud o život v Pákistánu nejméně 2 200 lidí. Vzhledem k tomu, že Spojené státy nezaznamenaly v této souvislosti žádnou vlastní oběť, veřejnost si těchto činností příliš nevšímala, i když se jednalo o akce, které by mohly být jen těžko zaštítěny mezinárodním právem.

Šance přestát případný konflikt s nízkými ztrátami a bez veřejné kontroly pravděpodobně významně sníží odpor vůči válkám vedeným pomocí AI. Právě proto, že se zákon o LAWS zdá zbytečný, mohlo by se více než kdy jindy vyplatit vytrvale hledat pod dohledem veřejnosti politická rozhodnutí mezi válkou a mírem. Taková kontrola by byla skutečně významná a vhodná.

Foto popis| „Největší riziko naší civilizace“ Šéf Tesly Elon Musk neustále varuje před autonomními zbraněmi: „Mám přístup k nejvyspělejší umělé inteligenci, která existuje, a věřím, že lidé by se měli o toto téma zajímat.“
Foto popis| Osvědčená symbióza člověk-stroj Dálkově ovládané roboty nebo poloautonomní roboty snižují při pyrotechnických pracích rizika pro lidské odborníky.
Foto popis| engagements. „Rozumný lidský úsudek“ S vágní formulací zůstávají USA otevřené vůči úloze vojáků při 2. APPLICABILITY. This Directive: smrtících akcích zbraněmi umělé inteligence. a. Applies to: (1) OSD, the Military Departments, the Office of the Chairman of the Joint Chiefs of
Foto popis| „Války budoucnosti budou vedeny drony“ Podle názoru ruského prezidenta Vladimira Putina povede dominance v odvětví AI nevyhnutelně k světové nadvládě.
Foto popis| Algoritmické strategie Bob Work, náměstek ministra obrany USA, prosazuje umělou inteligenci a big data: „Změní to podstatu války.“
Foto popis| Ten ještě nic nedělá - zatím Současný návrh přepravníku AlphaDog vykládá vojáky během akce. Konstrukce jako z Války světů zvládá „pochodovat“ rychlostí 12 km/h.
Foto popis| Umělá inteligence koordinuje vojenské operace Pentagon řídí vícedoménové operace pomocí AI. V reálném čase systém přiřadí všem zúčastněným jednotkám individuální úkoly.
Foto popis| Rozhodování bez emocí pomocí big data Obrovské datové zatížení je ústředním problémem moderních armád. Analýzy velkých dat poskytnou požadované informace.
Foto popis| Nepředvídatelný stejně jako jeho přirozený vzor Jako ruka duchů se pohybuje tento roj mikrodronů Pentagonu ovládaný umělou inteligencí. Každý z 16palcových malých dronů vzájemně spolupracuje. Neexistují vůdci, nováčci se bezproblémově integrují.

O autorovi| ROMAN LEIPOLD, autor@chip.cz


Příbuzná témata: