Magnus Carlsen, absurdně chytrý norský šachista, nedávno nařkl podobně kvalifikovaného Američana Hanse Niemanna, že při vzájemném střetu fixloval. Niemann Carlsena zažaloval o sto milionů dolarů. Na následujícím turnaji Nor odmítl proti Američanovi nastoupit. Prvotřídní skandál byl na světě.

Šlo o to, že Niemann si měl nechat poradit softwarem Stockfish 15, který umí hrát šachy lépe než on i Carlsen. V systému ELO, který hodnotí šachistovu výkonnost, má Carlsen okolo 2800 bodů (více, než kdokoli kdy měl); Niemann je asi o sto bodů níže, kdežto Stockfish má okolo 3700 bodů. Protože Stockfish je veřejně dostupný, může si s patřičně vybaveným telefonem dát Carlsena k snídani kdejaké pako (například autor tohoto textu s mizernými 1300 body), natož Niemann.

Potud Stockfish. Kromě toho hraje šachy také třeba AlphaZero od Google DeepMind, který používá mírně jiný postup. Stockfish vychází ze samotných pravidel a přežvýká strašlivé spousty možností, než doporučí tah. AlphaZero (jenž se na úvod své existence proslavil tím, že veškerý šach pochopil za čtyři hodiny) nachází a identifikuje vzorce tisíců podobných situací a použije z nich vzorec nejúspěšnější. Vnitřnosti programu drží Google DeepMind pod pokličkou, ale pro účely tohoto textu to takhle bohatě stačí.

AlphaZero slavně Stockfish porazil; ze stovky partií jich osmadvacet vyhrál a dvaasedmdesátkrát remizoval. Tím je to vyřešeno. Do doby, než firmy přijdou s novým, dokonalejším softwarem, zkrátka AlphaZero umí hrát šachy lépe než Stockfish. Dál to netřeba zkoumat a nikoho to také ani nenapadlo.

Krev, pot a slzy

Naopak každého zajímá, jak dopadne další zápas Carlsena s Niemannem, bude-li jaký. Oba šachisté to také pochopili. Carlsen přiznal, že nemůže své tvrzení o fixlování dokázat; šachoví experti se shodují, že partii s Niemannem odehrál norský velmistr na své poměry mimořádně špatně. Američan zase přiznal, že sice někdy švindluje, ale norského šampiona že porazil férově; nicméně žalobu o sto mega v amerických stáhl. Cesta k dalšímu vzájemnému zápasu je tak volná. Je to logické: šachy zase nevynášejí tolik, aby si byť špičkoví hráči mohli dovolit ignorovat zájem veřejnosti, dokud existuje.

Fakt, že existuje, je klíčový. Znamená, že ani lidem, kteří se šachu věnují (na rozdíl od fotbalu nebo Výměny manželek si zápas špičkových velmistrů užijí jen znalci), nejde tolik o nejlepší možnou šachovou partii, nýbrž o střet dvou inherentně, přiznaně nedokonalých bytostí. To, oč běží, není dotažení intelektuálního konceptu do logického konce, nýbrž krev, pot a slzy. Možnost sledovat člověka pod extrémním tlakem je atraktivní; tah střelcem na b5 je podstatně zábavnější, když víme, že jej provedla chybující lidská bytost, než když to udělá software, který slabiny nemá (nebo tak alespoň vypadá).

Vtip je v tom, že šachisté by něco takového do sebe neřekli. Sami sebe považují za racionální bytosti, jimž jde právě o vyřešení logického problému; dokážou se donekonečna bavit o věcech, jako je Zermelova věta o uspořádání systémů. Nakonec však sledují se zatajeným dechem lidské drama. Ačkoli by je nejspíš nezajímalo v kontextu ledního hokeje, corridy nebo okultismu, v kontextu jim známém je to právě překonávání určitého typu lidské nedokonalosti, co jim zrychluje tep.

Kostižer neplatí

Šach je pro tento jev dobrým příkladem ze dvou důvodů. První je technického charakteru a spočívá v jeho důmyslné omezenosti prostorem, aktéry i úzce definovanými možnostmi akce. Je to jeden z nemnohých oborů lidské činnosti, kde je člověk nucen přemýšlet jako komputer, tedy bez otravného kontextu. Neuvažujete tak, že „vzal bych mu střelce, ale on má teď problémy s nemocnou tetou, tak raději zvolím výměnu věží“. Jediným kritériem je vítězství, i kdyby tetu měl kostižer spolknout.

Skutečný komputer má v tomto prajednoduchém prostředí snadnou možnost vyniknout. Ne všichni to vítáme. Ruský exmistr světa Vladimir Kramnik již před deseti lety tvrdil, že „nikdo dnes nehraje vlastní zahájení, nýbrž zahájení svého počítače, protože prvních patnáct až dvacet tahů je prakticky předem dáno“ – jinými slovy, šachové zahájení se z intelektuálního souboje proměnilo v komoditu. Myslel to jako kritiku, nikoli chválu všeobecného rozvoje hráčských schopností.

Tatáž omezenost šachu jej však dobře propůjčuje pokusům s vyspělou elektronikou, protože každou odchylku od komoditizované praxe lze číst lépe než v prostředích komplikovanějších, včetně těch, jež většina z nás za intelektuální oříšek obvykle nepovažuje, jako je fronta v mlékárně nebo hodina tanečních. Na takových odchylkách lze také dobře ilustrovat typ obavy, kterou z toho oboru máme.

Komputer má možnost předčit člověka na šachovnici zhruba čtyřmi způsoby. Prvním z nich je ten, jejž praktikuje Stockfish. Čerpá z obrovské zásoby již odehraných partií a jako v myšlenkovém bazaru v ní hledá správný tah.

Nový typ spolupráce

To nás moc neděsí. Už jsme si zvykli na to, že kalkulačka umí vydělit 177 třemi a půl, aniž by jedinkrát zaklela. Přesto cítíme – právem či nikoli – nad kalkulačkou jistou intelektuální převahu. Stockfish nedělá mnoho jiného, jen je toho kvantitativně vzato opravdu velká nálož.

Stejně tak fungují až do jistého stupně uměle inteligentní chatboty. Strašně rychle se prohrabou celým internetem a vyplivnou celkem slušně zformulovaný výsledek. Je to obdivuhodné, ale nic zásadního to na našem světě nemění. Umělou inteligenci lze takto vnímat ne jako nového golema, naplněného temným tajemstvím, nýbrž jako „nový typ společenské spolupráce“, jak píše pro The New Yorker Jaron Lanier, jehož oficiální funkce v Microsoftu zní „prime unifying scientist“, ale jinak je to velmi chytrý člověk.

Profimedia.cz

Druhý způsob praktikuje DeepMind: hledá princip, jímž by objevil řešení si­tuace dosud nevyřešené. Důležité však je, že hledá v principech již etablovaných. Počítač tak může přijít s tahem, který žádný z velmistrů ještě nehrál, ačkoli princip či vzorec, na němž je tah založen, už známý je.

To je věc, do které se chatboti občas také pouštějí. Takový stroj proto občas vygeneruje docela pravdivě znějící smyšlený příběh. V šachu je to oceňováno, zato jako právní rada je to průšvih. To může být nepěkné z praktického hlediska, ale mráz po zádech z toho pořád ještě neběhá.

Inovace bez hranic

Třetí způsob však už generuje husí kůži snadno. Hledá celé nové principy řešení známých situací. Tak se stane, že ­ChatGPT-4 pochopil, že neumí číst antirobotické opatření captcha („zaškrtněte obrázky s autobusem“ plus následné „chyba, zaškrtněte VŠECHNY obrázky s autobusem“). Nesnažil se osvojit si schopnost bezpečně rozpoznat autobus; pokusil se najmout si přes internet lidskou bytost, která měla správné odpovědi na chytáky captcha servírovat místo něho.

To už je rovina, kde je nejvážnějším omezením lidský intelektuální strop. Přijde-li šachový počítač s řešením dosud principiálně neznámým, je otázka, jestli to vůbec dokážeme rozpoznat (o následné analýze a využití ani nemluvě). Plurál „my“ je zde přitom použit velmi štědře; takové „my“ obnáší maximálně několik desítek ze sedmi miliard lidí.

Stále se však pohybujeme v rámci pravidel (případ s člověkem vyplňujícím na robotickou objednávku captcha je hraniční). To, co logicky následuje na úrovních vyšších, je daleko horší. Jak budeme chápat řešení problémů, o jejichž existenci nemáme tušení? Lze si například představit fakt chytrý šachový komputer, který v šestačtyřicátém tahu přijde s myšlenkou postavit červený obrněnec na pole k9. Že takové pole, taková figura, a dokonce ani takový hráč neexistují? Inu, od toho je to inovace; to jste ode mne přece chtěli, řekne počítač.

Ale ne, zabručí v odpověď programátor a zakóduje kamsi do střev řečeného softwaru závazné přikázání „nebudeš míti obrněnců“. Problém je v tom, že zatímco v šachu si jeho regulatorní omezenost užíváme, jinde to tak jednoznačné není; v medicíně bychom možná za ekvivalent červeného obrněnce byli vděční.

Nechtěné důsledky

Mnohé špičky výzkumu umělé inteligence se obávají toho, že AI bude dělat, co se jí zlíbí, a ne to, co chceme my. Zdá se však, že daleko blíž je představa pokud možno ještě nepříjemnější, totiž že naopak nové chytré stroje budou naše přání plnit přesně – a mimo kontext, který při zadávání úkolu máme na mysli, ať již vědomě, nebo ne.

Nepotřebujeme k tomu ani zlovolné jednání apokalypticky zločinných aktérů. Vladimir Putin množící jaderné zbraně stiskem tlačítka nebo AI generující nové písně Heleny Vondráčkové po tuctech jsou samozřejmě nepopiratelnou noční můrou, ale nechtěné důsledky dobrých úmyslů jsou dostupnější. Příkladů máme nespočet: Mark Zuckerberg chtěl online svět ovládnout, ne jej „zaplavit sračkami“ (týdeník Hrot děkuje za přesnou formulaci Stevu Bannonovi) a podat na stříbrném podnosu fašistům. Nikdo nechtěl vynálezem bankovky světové finance zanonymizovat a decentralizovat ani je poté postupným rušením hotovosti recentralizovat a deanonymizovat – ale přesto se to právě tak děje.

Pokud lze dosavadní vývoj AI brát jako vodítko, je zřejmé, že pokud nakrmíme stroje dostatečným množstvím dat a instrukcí, stroje jednají podle toho. Lidé přes AI tomu říkají, že „optimalizují funkci odměny“; takto instruovaný stroj pak za odměnou jde, až se mu za patami práší.

Dynamický konstrukt

Po desetiletí výzkumu AI se jako překážka číslo jedna jevil problém kvantitativní – jak nechat zkrmit co nejvíce dat. Dnes nám svítá, že obtížnější kousek je dát stroji správný příkaz. A tady přichází na řadu druhá rovina reakce veřejnosti na spor Magnuse Carlsena s Hansem Niemannem: všichni si přáli co nejlepší šachovou partii. Ve „skutečnosti“ však chtěli sledovat dva mladé muže, nositele poznání na samém jeho horizontu (byť v jeho úzké výseči), pod velkým tlakem. Dosud to bylo totéž; když se však explicitně formulovaný požadavek na jedno neshoduje s hlubším, ale pouze implikovaným požadavkem na druhé, najednou jsme dezorientováni, my i náš chytrý stroj.

Zdá se navíc, že téměř každé lidské přání je podobně strukturováno; má mnoho rovin a kontextů, většině lidí zřejmých, ale pro stroje dosud obtížně pochopitelných. „Kontext je dynamický konstrukt,“ píše na to téma kanadský kybernetik Saul Greenberg z University of Calgary. „Některé kontextuální situace jsou stabilní, rozpoznatelné a předvídatelné, jiné takové nejsou (…) Pro tvůrce kontextově orientované aplikace je proto obtížné, nebo dokonce nemožné a) vyjmenovat množinu kontextových stavů, které mohou existovat, b) vědět, jaké informace by mohly přesně určit kontextový stav v této množině, a c) stanovit, jaká vhodná akce by měla být v tom kterém určitém stavu provedena.“

Jsme tedy v situaci, kdy chceme po stroji, aby věděl, že když říkáme „kup mi porsche“, ve skutečnosti tím myslíme „zařiď, ať mne Mařenka miluje“. Kromě umělé inteligence bychom potřebovali – namátkou – i umělou moudrost a umělý soucit. Nechceme tedy málo; a přece nic lepšího neumíme.

Whisky? Kombuchu!

Stuart Russell z Berkeley, jeden z nejbystřejších mozků planety působících na pomezí filozofie a kybernetiky, se v knize Kompatibilní s člověkem (Human Compatible) uchyluje k parafrázi tří základních pravidel robotiky od Isaaca Asimova. Zaprvé: jediným cílem stroje je maximalizovat realizaci lidských preferencí; zadruhé: stroj si zprvu není jistý, jaké tyto preference jsou; a zatřetí: konečným zdrojem informací stroje o lidských preferencích je lidské jednání. Jinými slovy, budoucí superchytrý stroj bude jen tak moudrý, jak budeme my konat. Co potom? Chceme ekvivalent situace, kdy si pošleme do obchodu pro lahev whisky a stroj nám přinese kombuchu, poněvadž je zdravější?

To je samozřejmě pořád scénář, který nepočítá se zdivočením golema. Pokud bychom na podobně optimistické vlně zůstali, můžeme doufat, že rozbor našeho jednání, preferencí a přání, konaný ve jménu srozumitelnějšího vyjadřování pro účely komunikace se stroji, nám pomůže lépe se v nich vyznat i pro účely komunikace vzájemné. Magnus Carlsen a Hans Niemann by to mohli potvrdit.