Na pěvecké duety Adolfa Hitlera s Frankem Sinatrou a jiné poťouchlosti už si díky umělé inteligenci začínáme zvykat. Aby však šlo podle záznamu mozkové aktivity rekonstruovat píseň, kterou majitel řečeného mozku poslouchá, už tak docela normální není.

A přece – patnáctisekundový zvukový klip Another Brick in the Wall zní jako zastřená verze řečené slavné písně anglické kapely Pink Floyd, jako by ji někdo zpíval pod vodou. Slova, melodie, tempo i rytmus také zjevně písní z alba The Wall z roku 1979 jsou.

Až na to, že v klipu nic nehrají ani Pink Floyd, ani nikdo jiný. Místo toho skladbu vytvořil tým vědců z Kalifornské univerzity v Berkeley, který zkoumal mozkovou aktivitu více než dvou desítek lidí, již píseň poslouchali. Tato data následně dekódovali modelem strojového učení a převedli zpět do zvukové podoby. Je to poprvé, co se vědcům podařilo znovu vytvořit píseň z nervových signálů.

Cihla v síti elektrod

Podle studie zveřejněné ve vědeckém časopise PLOS Biology vědci doufají, že díky tomu budou moci jednou podobnou technologii využít k tomu, aby pomohli pacientům s vadou řeči komunikovat s ostatními. Zároveň shromažďují údaje o tom, jak mozek zpracovává hudbu a zvuk obecně.

„Hudba dodává řeči více emocionálních a melodických prvků,“ řekl deníku The Washington Post Robert Knight, neurolog z Kalifornské univerzity v Berkeley a autor studie. „Takže pochopení toho, jak je v mozku zpracovávána a jak ji můžeme dekódovat, je vlastně jako první cihla ve zdi,“ řekl v narážce na název zmíněné písně Pink Floyd.

Proces využití mozkových vln k vytváření zvuku začal v roce 2009 v nemocnici v Albany ve státě New York. Devětadvacet pacientů, kteří podstupovali léčbu epilepsie (konkrétně jim byla do mozku implantována síť elektrod k určení místa záchvatů rezistentních vůči lékům), se dobrovolně přihlásilo k nahrávání mozkové aktivity při poslechu písně „Another Brick in the Wall, Part 1“.

Poslech hudby je technicky složitý proces. Zvuky, tedy vibrace pohybující se vzduchem v podobě vln, vstupují do vnitřního ucha, kde se mění na elektrický signál. Ten je odeslán do mozku (který funguje na elektřinu); jakmile vstoupí, neurony začnou na několika frontách pracovat, aby dekódovaly texty, melodie a rytmy. Elektrody připojené k mozku pacientů umožnily vědcům do tohoto procesu nahlédnout.

Reakce na kytaru

„Snažíme se dekódovat, jakou roli v tom procesu hraje přicházející zvuk, v tomto případě od Pink Floyd,“ řekl Robert Knight. „Nyní máme všechny tyto elektrody – na jeden výzkumný subjekt jich připadá asi 92 – a všechna tato data využíváme k rozpoznání, jak se každý verbální, harmonický nebo rytmický prvek v písni Pink Floyd v každé z těchto elektrod odráží.“

Pokus s poslechem a záznamem mozkové aktivity posluchačů se odehrál již v roce 2009; během následujících šesti let výzkumníci záznamy převedli do obrovských datových souborů. A pak projekt téměř na deset let usnul. Nový život dostal poté, co se ke Knightovu týmu přidal nový doktorand Ludovic Bellier, sám muzikant. Nabídl se, že se pokusí datové soubory dekódovat.

Když začal tu fůru dat analyzovat, přišel na něco „naprosto fascinujícího“. Když zazněly šestnáctiny kytarové figury, bylo vidět, že specifické části spánkových laloků pacientů začaly odlišně reagovat. „To jsme nikdy předtím neviděli,“ řekl Bellier.

Pomoc postiženým na obzoru

Další část práce odvedla umělá inteligence. Bellier převedl čísla na hudbu pomocí výkonného modelu strojového učení, který zohlednil, jak mozek reaguje na kombinaci zvukových frekvencí. Vzorce nechal převést do spektrogramu, tedy vizuálního znázornění frekvencí zvuku a jejich změn v čase – a poté do zvukového souboru. A ten, jak sami můžete posoudit, je velmi podobný původní písni Pink Floyd (a nezní o moc hůř, ptáte-li se autora těchto řádek).

Výzkum by mohl vést k novým léčebným postupům pro lidi, kteří ztratili schopnost komunikovat s okolním světem, říkají Knight a Bellier. Přístroje, které převádějí signály z mozku na hlas, často působí velmi roboticky (jedním z důvodů může být skutečnost, že je vytváří robot). Hudba se svými složitými a silnými emocionálními a rytmickými prvky by k tomu vědcům mohla umožnit využít jejích výrazových prostředků.