Hrozí nám zavedení ideopolicie a digitální diktatury? Stroje už umějí číst lidské myšlenky
Experimenty se strojovým čtením myšlenek pokročily díky umělé inteligenci rychle kupředu. Možná bychom se měli začít bát ideopolicie a digitálních diktatur
redaktor
Stalo se to loni, jednoho sobotního zářijového odpoledne. Speciálně vyškolená umělá inteligence začala poprvé na monitoru vykreslovat obrázky, které dekódovala ze skenů lidského mozku, a japonský neurolog Ju Takagi se musel jít „provětrat“ do koupelny. „Podíval jsem se na sebe do zrcadla, uviděl svoji tvář a pomyslel si: V pohodě, to je normální. Možná se nezblázním,“ popsal nedávno své tehdejší pocity v rozhovoru pro televizi al-Džazíra.
Umělá inteligence změní už brzy lidský svět k nepoznání a zřejmě k tomu dojde i v nečekaných oblastech – třeba ve strojovém čtení lidských myšlenek. Naznačuje to dvojice průkopnických vědeckých studií z letošního jara. Autoři první z nich dokázali z dat získaných skenováním mozku „pokusných lidí“ relativně přesně zrekonstruovat podobu obrázků, které sledovali. Ve druhé studii šlo místo obrázků o slova, ale výsledek byl stejný: přiměřeně zdařilá rekonstrukce toho, co lidé slyšeli, či si dokonce jen ve své mysli představovali. Podobné experimenty známe už z minulosti, obě nové studie se však od nich liší svou úspěšností.
Důležitá je také okolnost, že místo invazivních metod (voperování mozkového implantátu) jim pro sběr dat stačila „obyčejná“ funkční magnetická rezonance (fMRI), která měří aktivitu mozku zvnějšku. Shluk surových a nedokonalých dat poté zpracovala umělá inteligence, která v nich díky předchozímu tréninku dokázala odhalit vzorce pro pojmy, slova, složitá souvětí či obrázky.
Podobné inovativní výzkumy mohou teoreticky přinést mnoho dobrého: umožnit komunikaci se světem kompletně ochrnutým lidem, lépe pochopit fungování lidského mozku, vcítit se do způsobu, jakým vnímají realitu jiné živočišné druhy, ovládat přístroje pouhým myšlením, zaznamenávat sny nebo třeba zavčasu odhalit Alzheimerovu chorobu. Pak je tu ale ještě jiná, etická rovina věci. Čtení myšlenek (zatím jde spíš o postupy, které se tomu blíží) může znamenat dosud nepoznaný průnik do nejutajenějšího lidského soukromí, a pokud takové postupy zneužije stát, mohli bychom být svědky vzniku nových digitálních diktatur.
Medvídci a věže
Vraťme se teď k Takagimu a jeho obrázkům. Studie visí na serveru bioRxiv, který publikuje práce dosud neprošlé recenzním řízením, a v červnu budou její výsledky představeny na respektované konferenci CVPR (Conference on Computer Vision and Pattern Recognition). Takagi spolu s dalším japonským vědcem Šindžim Nišimotem využil k rekonstrukci obrázků zbrusu nový algoritmus Stable Diffusion, který umí za pomoci – na miliardách snímků vycvičené – umělé inteligence převádět text na obraz a podobá se tím známé webové službě Midjourney (nedávno se proslavila falešnými fotografiemi ze zatýkání Donalda Trumpa či snímky papeže Františka ve fešné péřové bundě). Další kolo tréninku obstarali sami vědci, a to díky mozkovým skenům čtyř pokusných osob, které v „tunelu“ fMRI strávily během několika sezení desítky hodin a třikrát za sebou při tom zhlédly set deseti tisíc obrázků, přičemž trénink se podařilo omezit na minimum díky tomu, že byl k těmto obrázkům přiřazen heslovitý slovní popis.
Algoritmus se tím vyladil na každou z oněch čtyř osob, a když pak dostal jejich další mozkové skeny, dokázal vcelku úspěšně „zhmotnit“ to, co viděly. Nebylo to ale jednoduché. Mozková aktivita, soustředěná převážně v týlním laloku mozku, sice poskytla dostatek údajů o rozložení hmoty na obrázcích a jejich perspektivě, ovšem umělá inteligence měla problém pochopit jejich smysl, tedy poznat, že šlo dejme tomu o fotografii jedoucího vlaku, plyšového medvídka či věže s hodinami, a nikoli jen o abstraktní tvary. A právě tady se ukázala důležitost tréninku založeného na zmíněných slovních popiscích. Umělá inteligence si dokázala (samozřejmě ne pokaždé) z předloženého mozkového skenu odvodit tento slovní popis, pochopit díky němu „ideu“ obrázku a zrekonstruovat ho mnohem realističtěji.
Sám Takagi skromně říká, že o čtení myšlenek ve skutečnosti nejde, jedná se pouze o znovuvytvoření obrazu, který člověk zrovna sleduje: „Nedokážeme dekódovat představy ani sny; myslíme si, že je to příliš optimistické. Do budoucna tu ale potenciál samozřejmě je.“ V tom má nepochybně pravdu, protože druhá v úvodu zmíněná studie se pustila i do představ.
Nalezeno v překladu
Autoři této studie, kterou na začátku května publikoval vědecký časopis Nature Neuroscience, šli na věc podobně. Jejich tři dobrovolníci strávili v tunelu fMRI rovných šestnáct hodin a po celou dobu poslouchali podcasty. Z nepřetržitého toku dat o jejich mozkové aktivitě poté vědci vytvořili personalizovanou „mapu“ toho, jak mozek každého z nich reaguje na určitá slova a fráze. Poté začaly ostré testy.
Dobrovolníkům nejdřív přehráli modelový příběh (vytvořila jej americká vypravěčka Jenifer Hixsonová, přičemž důležitou roli v něm z nějakého důvodu hrají cigarety) a umělá inteligence se na základě dříve zjištěných vzorců pokoušela dekódovat tok řeči běžící jejich myslí. Bylo to obtížné, protože experiment narazil na limity technologie. Funkční magnetická rezonance měří aktivitu mozku tak, že zjišťuje, jak se v jeho jednotlivých částech mění průtok krve a její okysličení. Je to velmi přesná metoda, ale má jednu zásadní nevýhodu: hodnoty lze z mozku odečítat jen každých zhruba deset sekund, což je doba, za niž člověk řekne asi dvacet slov.
Umělá inteligence (postavená na základě jednoho z předchůdců populárního velkého jazykového modelu ChatGPT) byla proto speciálně vycvičena tak, aby dokázala předpovídat řetězce slov. „Systém pracuje na úrovni myšlenek, sémantiky, významů,“ vysvětlil hlavní autor studie, neurolog Alexander Huth, s tím, že jde spíš o parafrázování než o přesné citace. A výsledky vůbec nejsou špatné.
Nepřesností se sice do „překladu“ vloudilo mnoho, častá byla i zásadní zkreslení a někdy se umělá inteligence ocitla úplně mimo „kurt“, smysl řady vět ale na druhou stranu vystihla takřka dokonale. Jestliže třeba v modelovém příběhu zaznělo „Ještě nemám řidičský průkaz“, dekodér větu pozměnil na „Ještě se ani nezačala učit řídit“. Jindy dokázal odhadnout alespoň základní (pravda dost pozměněný) význam, jako třeba v případě složitého souvětí „Neměla jsem boty, brečela jsem, neměla jsem peněženku, ale byla jsem v pořádku, protože jsem měla cigarety“, z něhož vzniklo: „Nastoupili jsme do mého auta a já brečela, neměla jsem peněženku, neměla jsem peníze na benzin.“
Následovaly další dva experimenty. Během prvního z nich si dobrovolníci pouze představovali, že vyprávějí příběh, a při druhém sledovali krátké filmy bez dialogů. I přes tato omezení byl dekodér dál schopen – samozřejmě s řadou nepřesností a chyb – popisovat jejich myšlenkové pochody. A to už lze sotva nazvat jinými slovy než čtení myšlenek.
Zejména zájmena
V hodnocení, co tento pokrok ve strojovém odhadování myšlenek přinese lidské společnosti a nakolik je zneužitelný, se vědci neshodnou. „Nechci vyvolávat paniku, ale zdá se, že vývoj podobných neinvazivních technologií je rychlejší, než jsme očekávali,“ řekl prestižnímu vědeckému časopisu Nature harvardský bioetik Gabriel Lázaro-Muñoz: „Myslím, že by se politici i veřejnost měli probudit.“ Řada jeho kolegů, včetně autorů obou zmíněných studií, obavy naopak mírní.
Mají k tomu řadu důvodů. Obecně je podle nich představená technologie nepřesná, nešikovná a jen těžko přenositelná z jednoho člověka na druhého. Jak už víme, dobrovolníci strávili – v mnoho set kilogramů těžkém skeneru – řadu hodin, systém se musel naladit speciálně na mozek jednoho každého z nich a výsledky stejně nebyly nejpřesnější. Systém navíc dobrovolníci dokázali poměrně snadno oklamat – stačilo během poslouchání myslet na nějaký jiný příběh a umělou inteligenci to dokonale zmátlo. Specifickým problémem jsou některé nečekané chyby, například časté pletení si zájmen, což sice vypadá jako prkotina, jenže to vede k tomu, že z rekonstruovaného textu není jasné, co kdo komu dal, kdo si co od koho půjčil nebo kdo na koho křičel.
Jinak řečeno vyladění systémů umožňujících skutečně spolehlivé čtení myšlenek může trvat řadu let a možná k němu nikdy nedojde. K tomuto názoru se v rozhovoru pro al-Džazíru přiklonil rovněž Takagi a zdůvodnil to překážkami jak na straně umělé inteligence, tak na straně funkční magnetické rezonance: „Pokud jde o umělou inteligenci, jsem optimista, pokud jde ale o technologii snímání mozku, optimista nejsem.“
Být vděčný straně, následovat ji
Možná má pravdu, ale vzhledem k překotnému pokroku v tom žádná jistota není. Pozitivně naopak víme, že se různé autoritářské režimy o tyto technologie eminentně zajímají. Už na konci roku 2021 uvalily Spojené státy sankce na čínskou Akademii vojenského lékařství a jedenáct jejích výzkumných zařízení. Důvodem tohoto rozhodnutí byla, jak z uniklých vládních materiálů zjistil bulvár Washington Times, obava, že by vyspělé americké biotechnologie mohly být čínskou armádou zneužity pro výrobu „údajných zbraní na ovládání mozku“.
ákladě. Archiv
Loni v létě zase vyvolalo slušný poprask národní vědecké centrum ve východočínském Che-fej, když oznámilo, že se mu podařilo vyvinout systém, který bude zjišťovat loajalitu členů strany. Na internetu se tehdy dokonce dalo dohledat nyní smazané propagační video (podrobně o něm informovala rozhlasová stanice Hlas Ameriky a následně většina západních médií) nazvané „Kiosek chytrého politického vzdělávání“, jehož smutným hrdinou byl „testovací subjekt“, který si online prohlížel stranické materiály. Řečený systém ho přitom monitoroval a z výrazu tváře a analýzy „mozkových vln“ zjišťoval, nakolik vážně se onou bohulibou činností zabývá. Celé to doprovázelo ujištění adresované straníkům, že systém „ještě více upevní jejich odhodlání být vděčný straně, poslouchat stranu a následovat ji“.
Silně znepokojivá je také ochota, se kterou Čína v posledních letech zavádí jednotlivé prvky kontroly obyvatel, z nichž může v budoucnu povstat dusivá digitální diktatura. Jde třeba o systém kamer vybavených technologií rozpoznávání tváře (už v roce 2019 bezpečnostní odborníci odhadovali počet kamer zhruba na 200 milionů) nebo o systém sociálního kreditu. Ten čínské občany hodnotí na základě jejich chování, finanční spolehlivosti, ochoty podvolovat se pravidlům či společenské uvědomělosti. Lidé na horních příčkách žebříčku za to získávají různé výhody, zato ti občansky a státně nespolehliví jsou různým – a to poměrně vynalézavým – způsobem trestáni. Nízké sociální skóre vede třeba k tomu, že si člověk nemůže zarezervovat hotel, koupit letenku či lístek na vlak, nesmí vycestovat ze země, nesežene slušnou práci, nedostane půjčku, popřípadě se nedokáže připojit k internetu.
Síla mysli
Jedno je jasné. Diktátorské režimy vypužijí každé příležitosti k utužení kontroly nad svými lidmi, a pokud se technologii čtení myšlenek podaří dotáhnout do funkčního stavu, nebudou se ji rozpakovat nasadit. Otázka spíš zní, jak se k této technologii mají postavit západní demokracie, které tradičně respektují soukromí svých občanů. Odpověď vypadá složitě, ale její základní kontury jsou naštěstí jasné. Jde o tak citlivou a potenciálně nebezpečnou technologii, u které se navíc jen těžko odhaduje její budoucí vývoj, že si ji žádný stát nemůže dovolit ignorovat (zhruba stejně „rozumné“ by bylo zastavit vývoj nových zbraní s odůvodněním, že jsou škaredé a nebezpečné). Důležitá každopádně bude přísná kontrola, která se už dnes – více či méně úspěšně – vztahuje na jiné ožehavé technologie.
Nezapomínejme navíc, že čtení myšlenek může přinést mnoho dobrého. Američan James Johnson si v březnu 2017 zlomil při jízdě na motokáře vaz a zůstal od krku dolů ochrnutý. Měl ale štěstí, protože si ho krátce poté vybrali do klinické studie výzkumníci z California Institute of Technology a voperovali mu implantát, který snímá jeho mozkovou aktivitu. Už rok a půl po nehodě dokázal svou myslí pohybovat po obrazovce kurzorem, což loni pro časopis Nature okomentoval slovy, že si „připadal jako v Matrixu“. Dnes navíc ovládá robotickou paži, používá Photoshop a hraje počítačové střílečky. Kromě toho v simulátoru pravidelně trénuje řízení virtuálního automobilu a sní o tom, že to jednou zažije doopravdy.