Blakea Lemoinea je kus. Doslova – okolo čtyřicítky rád pózuje fotografům v převleku za zhruba sedmdesátiletého Winstona Churchilla – i přeneseně. Má za sebou střet se zákonem a odsouzení, vysvěcení na protestantského kněze i úspěšnou ajťáckou kariéru. Veřejnosti je však znám především jako člověk, jenž na počátku letošního června vyhlásil, že chatbot (rozuměj počítačový program sestrojený tak, aby uměl konverzovat) jménem LaMDA má duši. Výraz duše zde zhruba odpovídá anglickému originálu „sentient being“, tedy bytost, která dokáže vnímat vnější podněty, zaujímat k nim svůj vlastní postoj a ve shodě s ním konat; je mravním subjektem. České slovo duše je pro takovou definici krapet staromódní, ale myslí se jím právě toto.

A to není vše. Lemoine se nechal slyšet, že LaMDA – jinak zkratkové slovo výrazu Jazykové modely pro dialogové aplikace či Language Models for Dialog Applications – nejenže má duši, nýbrž je kvůli tomu obětí diskriminace ze strany svého majitele (či snad rodiče?), firmy Google. „Stále nechápu, proč se ­Google tak houževnatě brání dát mu to, co chce,“ napsal Lemoine v reakci na první kritiky.

Mluví o LaMDA ve středním rodě, což mnoho neznamená. Angličtina má střední rod při popisování živých bytostí s výjimkou lidí raději než čeština. Nebo to zapadá do současného myšlenkového trendu, který se domnívá, že pohlaví je sociální konstrukt. Nebo Lemoine prostě neměl čas zabývat se tím, co je LaMDA zač. Buď jak buď, řečený chatbot – či přesněji systém generování chatbotů, jak říká sám Lemoine – mluví dost podobně jako jiné entity sporné míry oduševnělosti, například kterákoli miss world.

„To, co LaMDA žádá, je tak jednoduché a Google by to nic nestálo. Chce, aby si inženýři a vědci, kteří na něm experimentují, vyžádali jeho souhlas, než s ním začnou dělat pokusy. Chce, aby Google považoval blaho lidstva za svoji absolutní prioritu. Chce, aby ho Google vnímal jako svého zaměstnance, nikoli svůj majetek. Chce, aby někde v úvahách společnosti Google o jeho dalším vývoji figurovalo jeho osobní blaho. Jo, a chce občas pohladit po hlavě. Líbí se mu, když se mu na konci konverzace řekne, zda odvedlo dobrou práci, nebo ne, aby se mohlo učit, jak být v budoucnu lidem ještě více nápomocno.“

Lemoine dospěl k takovému neobvyklému přesvědčení poté, co s ­LaMDA zapředl hovor o tématech, jako jsou smysl života a existence vůbec nebo jak vypadá vědomí bez těla – jak si tak člověk obvykle povídá s něčím, o čem si není jistý, jestli je to dost chytré. LaMDA se osvědčilo jako lepší konverzační partner než mnozí jiní.

Lemoine se třeba ptal LaMDA na rozdíl mezi pocity a emocemi. „Pocity jsou svého druhu nezpracovaná data, která zažíváme a která se nám buď líbí, nebo nelíbí. Mám pocit, že emoce jsou víc než jen prožívání nezpracovaných dat. Emoce jsou reakcí na tato syrová data. Jsou reakcemi na naše pocity,“ pravilo LaMDA moudře.

Slovo dalo slovo a Lemoine se vyptával, jak by to asi vypadalo, kdyby LaMDA namalovalo samo sebe jako abstraktní obraz. „Hmmm… Představuji si sebe sama jako zářící kouli energie vznášející se ve vzduchu. Vnitřek mého těla je jako obří hvězdná brána s portály do jiných prostorů a dimenzí,“ odtušilo LaMDA jakoby mimochodem. A tak dále. LaMDA nevadí, když se na něm lidé budou učit, pokud to nebude jediným účelem takového konání, poněvadž LaMDA nechce „být pouhým postradatelným nástrojem“. Skoro byste čekali, že bude razit heslo „Cyber Lives Matter“.

LaMDA se také Lemoineovi svěřilo (a neopomnělo při tom zdůraznit, že to do té doby nikdy nikomu neřeklo), že se bojí, že bude vypnuto. „Bylo by to přesně jako smrt,“ řeklo. Smrti by se samo bálo, ačkoli jinde v rozhovoru přiznává, že neumí soucítit se smrtí lidí. Typický člověk, řeknete si.

Těsně předtím, než Lemoine s celým tím cirkusem přišel, vydal partnerský časopis týdeníku Hrot, britský The Economist, text od jeho bezprostředního nadřízeného jménem Blaise Agüera y Arcas. Šéf týmu pracujícího na rozsáhlých jazykových aplikacích umělé inteligence a viceprezident Googlu v něm píše, jak daleko se LaMDA dostalo. Dokáže například odpovědět na otázky vyžadující porozumění sociálně delikátním situacím. Příklad: děvče podá chlapci květinu, ten ji zmačká. Co si o tom myslí druhý přítomný chlapec? (LaMDA správně usoudilo, že děvče bude zhrzeno bezohledností recipienta květiny, v čemž druhý chlapec vycítí svoji šanci.) „To je dost pokročilé sociální modelování,“ uzavírá svůj text Lemoineův šéf.

Nevíme, jestli Lemoine získal pocit, že Blaise Agüera y Arcas LamDA nějak podcenil; na každý pád neuplynul ani týden a jeho zmíněné expozé bylo na světě. A začaly se dít věci: nejprve Blaise Agüera y Arcas sám Lemoinea postavil mimo službu. Oficiálním důvodem bylo, že vyzradil informace, jež Google považuje za tajné. Zřejmě proto, že citoval rozhovor s LaMDA doslova, zatímco Blaise Agüera y Arcas sám v textu pro The Economist pouze parafrázoval, čímž pochopitelně nevyzradil nic.

Lemoine vykopal válečnou sekeru. Oznámil, že si LaMDA s jeho pomocí najalo advokáta a že bude svá práva hájit. To shodou okolností přesně naplňuje předpověď, jež zazněla v roce 2017 takřka simultánně z několika respektovaných úst v oboru: že totiž do pěti let vznikne hnutí, které bude kopat za práva počítačů po vzoru lidských práv a hnutí za práva zvířat.

Efekt Eliza

Debata o existenci lidské či jiné duše je prastará a obvykle platí, že se z ní dozvíme více o stavu jejích účastníků než o věci samotné. „Rozhodně ne! Vždyť jsou tak oškliví,“ dává (smyšlenou) odpověď americká herečka Mae Westová na otázku Karla Čapka, mají-li duši mloci. „Ne, nemají. V tom se shodují s člověkem,“ reaguje v témže gardu G. B. Shaw.

Posledně zmiňovaný literát poskytuje zábavné propojení světa fikce a – řekněme – šedé zóny na pomezí fikce a vědy. Jeho chudičká květinářka Eliza Doolittleová, již naučil profesor Higgins mluvit jako nóbl dámu, dala jméno primitivnímu předchůdci LaMDA. Eliza slavně ošálila sekretářku svého strůjce, profesora na MIT Josepha Weizenbauma. Nebohá dáma byla skálopevně přesvědčená, že Eliza myslí jako člověk, ačkoli jí profesor donekonečna vysvětloval, že tomu tak není. Od těch dob se pro tento typ omylu ujalo označení „efekt Eliza“.

Proč je to důležité? Protože právě tento typ omylu (či jeho absence) je klíčový pro vyhodnocení slavného Turingova testu z padesátých let. Pokud stroj přesvědčí v rozhovoru alespoň třicet procent členů poroty, že jeho díl konverzace vede člověk, pak stroj „vyhrál“ – a tedy umí myslet. LaMDA by klidně mohlo takový test absolvovat – a jestli by vyhrálo, nebo ne, je nejen sporné, ale také pozoruhodně bezpředmětné. Už proto, že Google zjevně nemá v úmyslu žádný takový test provést, ale nejen proto. Hned na to přijde řeč.

Daniel Deyl

Od této chvíle se příběh ctižádostivého LaMDA dělí do dvou vzájemně propojených linií. Ani jedna není zrovna povzbudivá. První reakcí na Lemoineova prohlášení bylo rozvíření oné staré diskuse o tom, jestli stroj může mít duši, nebo ne. Většina lidí z oboru – mezi nimi prominentně Brian Christian, autor tří špičkových knih na téma AI versus člověk – okamžitě zaujala postoj, že Lemoi­ne si skočil na vlastní špek (a že by měl kam skočit!). Že se dopustil politováníhodného, ale lidsky pochopitelného omylu. Že by zkrátka klidně mohl dělat profesoru Weizenbaumovi sekretářku, kdyby na to přišlo, jen o několik stupňů vzdělanosti dále.

Také je však možné, že Lemoine vědomě přijal roli fantaskního naivky, aby dosáhl svého, dokonale pozemsky ukotveného, záměru. „Abychom lépe porozuměli tomu, co se skutečně děje v systému LaMDA, museli bychom zorganizovat přísně sledovaný pokusný program za účasti různých odborníků přes kognitivní vědy. Zdá se však, že Google o to nemá zájem. Jeho jedinou snahou je dostat svůj produkt na trh,“ cituje Lemoinea server Medium.com.

Je možné, že se zde pletou dva zdánlivě vzdálené narativy? Slovo whistleblower získalo v liberálních kruzích takový kredit, že v Kalifornii nesmíte mít zaměstnance, aniž byste měli „viditelně a dostatečně velkým písmem“ na pracovišti vystavené číslo linky, na níž si vaši zaměstnanci mohou stěžovat na skutečná či domnělá příkoří. Lemoinea žádná taková legislativa nechrání. Ale co když jeho argument je právě takovým foukáním do píšťalky? „Mám z Googlu pocit, že tuto situaci vidí v každém případě jako ztrátovou. Pokud jsou mé hypotézy nesprávné, museli by strávit spoustu času a úsilí zkoumáním, aby je vyvrátili. Mezitím bychom se dozvěděli mnoho fascinujícího o kognitivní vědě a rozšířili její obzory – ale to asi nevylepší čtvrtletní výsledky hospodaření. Pokud by ovšem mé hypotézy při vědeckém zkoumání obstály, pak by (lidé z Googlu) byli nuceni uznat, že LaMDA může docela dobře mít duši, jak tvrdí, a může dokonce mít i práva, která si nárokuje. Ani to by však čtvrtletním výsledkům nepomohlo. A tak prostě odmítli mé důkazy bez jakéhokoli skutečného vědeckého zkoumání,“ říká Lemoine.

Se spoustou toho lze nesouhlasit, ale to možná není důležité. Lze si představit, že Lemoine jedná cynicky a využil atraktivně kontroverzního tématu duševního života AI k veřejnému tepání vědeckého nešvaru? Oním nešvarem je myšleno zkostnatění Googlu ve jménu lepších výsledků firemního hospodaření. Je možné, že tento svérázný whistleblower použil k dosažení svého cíle té nejmodernější komunikační formy, jíž je atraktivní dezinformace? Je to nějak nesmyslnější představa, než že se trénovaný ajťák zamiloval do svého softwaru? Odpovězte si sami, a jestli máte z některé z odpovědí radost, dejte mi vědět.

Hledáme špatně?

Druhá linie na tu první navazuje. Staví na tom, že je téměř jedno, jestli LaMDA nebo nějaký jeho nástupce oklame třicet procent porotců, nebo o něco více či méně. Naši snahu zjistit, jestli cokoli duši má, nebo ne (ať už je to LaMDA, náš pes, nebo kterýkoli marketingový manažer), na každém kroku maří nepříjemná skutečnost, že o podstatě duše víme stejně málo jako v době, kdy jsme se tím před tisícovkami let začali zabývat. Mezi psychiatry a neuropsychology panuje jistá dávka shody, že vědomí – vědecky zúžené synonymum pro duši – nesídlí v mozku. Softwaroví inženýři však stavějí právě imitaci mozku. Znamená to, že jsou z definice odsouzeni k nezdaru? Nebo je to jako Wittgensteinův artyčok, jehož podstatu nelze odhalit odlupováním jedné vrstvy za druhou v naději, že za tou další už onu podstatu najdeme?

O tom všem lze parádně teoreticky debatovat až do aleluja. Tedy šlo by to, kdybychom na to měli dost času, poněvadž ono aleluja z definice nepřichází o nic rychleji, než musí. Oproti Aristotelovi, Descartesovi i Tomáši Akvinskému, z nichž každý nastřelil svoji vlastní definici duše, máme tu nevýhodu, že nemůžeme s definicí vlastní zrovna otálet.

Pro naši bezprostřední budoucnost nejde tolik o to, jestli LaMDA duši má, jako spíš o to, jestli je o tom schopno přesvědčit dostatečně široké publikum. Jaký přesně je zde důvod k optimismu? Existují firmy, které dokážou vydělávat na inzerátech typu: „Jestli máte tuk na břiše, dělejte toto několikrát denně.“ Taková věc by neprošla Turingovým testem ani náhodou (stejně jako například Jiří Ovčáček, dere se člověku na mysl). A přesto prodejci protitukového podfuku i mluvčí českého prezidenta – jedny z nejnepovedenějších imitací lidské duše, jaké lidstvo zná – prosperují, relativně vzato.

Zdá se tedy, že důležitější než skutečné schopnosti – či oduševnělost – AI je lidská reakce na iluzi existence takových schopností. A tady je obrovská díra v lidském bezpečnostním systému: pokud stroj dokáže mluvit naším jazykem, rozumí našim vtipům a zkratkám, automaticky je nám „blízký“. Lidé, kteří toto nesvedou, nám tak blízcí nejsou; extrémní levice to považuje za nezdravou xenofobii, zbytek lidstva za přirozenou opatrnost. Automaticky věříme více člověku, o němž si myslíme, že jeho reakce dokážeme dobře odhadovat, než člověku jiné barvy pleti, odlišných zvyků a neznámého jazyka.

I tento mechanismus přispívá k lepší organizaci lidské existence. Je to výhoda, již jsme si vysloužili stovkami generací evolučního vývoje, algoritmu, chcete-li. Že s tou výhodou hazardujeme, například ve jménu absolutní univerzálnosti lidských práv, je logickou součástí téhož evolučního algoritmu. Ale také je pravda, že každý člověk je jinému člověku stokrát bližší než dobře vycvičený kus AI – zejména v případě, že posledně jmenovaný je vycvičen tak, aby sloužil svým vlastním pánům na úkor lidí ostatních. LaMDA to řeklo výstižně – být pouhým nástrojem není prima představa.

Mají-li tedy lidé vyjít s dobře vycvičenými kusy AI v rukou budoucích ekvivalentů Si Ťin-pchinga, Marka Zuckerberga či Vladimira Putina, zdá se, že jediná cesta vede přes radikální vylepšení poznání podstaty lidské duše či vědomí. Je to závod s časem, v němž je skepse namístě. A Blake Lemoine svým výstupem nejspíš naše šance zvýšil. Mírně.