Digitalizace notových záznamů se na první pohled může zdát jako banalita – stačí skenovat a digitálně rozpoznat noty. Ve skutečnosti „je to věda“ – a Češi v ní hrají první housle. „Běžný text se dá prohnat ‚ócéerkem‘ (Optical Character Recognition), to už velmi dobře umíme a díky tomu můžeme textově prohledávat digitální archivy dokumentů. U not ale nelze stejné metody přímočaře použít, protože se jednotlivé notační znaky – hlavičky, trámce či klíče – nečtou jenom zleva doprava jako po sobě jdoucí písmena. Noty jsou v tomto smyslu chaos, a OMR (Optical Music Recognition) se tím pádem musí řešit jinak,“ vysvětluje vědec-hudebník Jan Hajič mladší.

Spolu se zahraničními kolegy vymyslel originální postup „čtení“ not . „V prvním kroku bývalo potřeba notový zápis digitálně ‚vyčistit‘ od inkoustových kaněk, stop od kávy a dalších kazů,“ líčí. „Poté se rozpoznávaly notové osnovy a následně další notační symboly. My jsme začali pracovat s konvolučními neuronovými sítěmi, díky kterým šlo tyto kroky zkombinovat do jednoho, přesnějšího.“ To však ještě nebylo nikterak převratné, neboť s neuronovými sítěmi začínal v té době pracovat každý, kdo se strojovým viděním zabýval. Zásadní a specifický pro práci s hudební notací je však další krok: rozšifrovat hudební význam rozpoznaných znaků. „Ke každé zapsané notě potřebujeme znát její výšku, délku a okamžik, kdy má být zahrána. Na to je třeba jednotlivé znaky správně zkombinovat, například určit, kde v notové osnově rozpoznaná notová hlavička leží a které křížky či béčka se jí týkají,“ popisuje vědec-hudebník.

Zde se ukázalo jako obrovská výhoda, že Jan Hajič pracoval v Ústavu formální a aplikované lingvistiky na Matematicko-fyzikální fakultě Univerzity Karlovy. „Klíčovým průlomem bylo použít, na rozdíl od dosavadních přístupů, závislostní modely – lingvistické metody dlouho vyvíjené pro češtinu s jejím volným slovosledem. Notová hlavička z této perspektivy funguje trochu jako přísudek věty a další znaky, které kódují výšku a délku noty, jsou něco jako ostatní větné členy. Díky tomuto modelu jde pak kombinování znaků také řešit pomocí strojového učení, které je obzvlášť pro rukopisnou notaci výrazně vhodnější než vymýšlet dlouhé seznamy pravidel.“

Nápad z Applu

Za převratným nápadem často bývá nenápadný podnět. U Jana Hajiče přišel během stáže ve společnosti Apple v prvním roce doktorského studia. „Šéf naší skupiny jednou u oběda zmínil, že začal pracovat na hlasové asistentce Siri proto, že sám chce, aby to fungovalo,“ vzpomíná Jan Hajič, jak začal přemýšlet o tom, co by sám chtěl, aby fungovalo. „A napadlo mě rozpoznávání notace. Záhy se ukázalo, že to téměř nikdo nedělá, a přitom po vizuálním rozpoznávání hudby jasná poptávka je.“

Po návratu měl prý velké štěstí, když jeho školitel souhlasil se změnou tématu disertace. „Původně jsem měl pracovat na automatickém přiřazování ilustračních fotek k novinovým článkům. Můj školitel Pavel Pecina se ukázal jako neuvěřitelně vstřícný vedoucí – změnu mi nejen umožnil, ale maximálně mě podporoval,“ říká Hajič. S několika kolegy začínali úplně od nuly. Museli si vytvořit i samotné datové sady, na kterých mohli rozpoznávání notových zápisů zkoumat. Nyní se jejich přístupy a „datová knihovna“ využívají po celém světě, a to i v průmyslu: nové aplikace digitálního rozpoznávání notových záznamů založené na strojovém učení kvalitou výsledků převyšují své starší konkurenty.

Chorál jako protein

Jan Hajič se nyní v mezinárodním projektu Genome of Melody věnuje evoluci melodií gregoriánských chorálů – a opět interdisciplinárně: využívá k tomu výpočetní algoritmy, které byly původně vyvinuty pro bioinformatiku. „Chorály a biologické proteiny se z hlediska výpočetních metod chovají vlastně velmi podobně,“ vysvětluje vědec. Chorály jsou jednohlasé, takže je lze modelovat jako posloupnosti složené z těch zhruba dvaceti tónů, které lidský hlas obsáhne. To vše připomíná proteiny, které jsou skládány z dvaceti různých aminokyselin, jež seřazené za sebou nesou informaci.

Ve středověké Evropě byl gregoriánský chorál všudypřítomný. Denně se zpíval v obrovských katedrálách i v malých farních kostelích, ve městech i odlehlých klášterech. „Zajímá nás, jakými rozmanitými způsoby se melodie gregoriánských chorálů v tomto intenzivním a rozsáhlém provozu měnily. V 9. století zavedl Karel Veliký po celé své říši, tedy takřka celé dnešní západní Evropě, gregoriánský chorál jako závazný jednotný standard, nicméně v polovině 16. století bylo opět nařízeno, že se má zpívat jednotně. Proč, kdyby se mezitím nevyvinuly značné rozdíly? Navíc ze středověkých rukopisů víme, že stejný zpěv má v různých knihách málokdy stoprocentně stejně zapsanou melodii,“ říká Hajič, podle kterého lze toto – velmi volně – přirovnat k situaci s pravidly pravopisu. „Také jsou dána dost podrobná pravidla, ale praxe je velmi rozmanitá.“

Pro výzkum mají k dispozici rozsáhlou databázi více než třinácti tisíc chorálních melodií, které pocházejí z více než 600 liturgických knih z období od 11. do 16. století, a to z velké části Evropy. „Podobně jako z genetické informace lze vyčíst mnoho o evoluci zvířat a rostlin, při využití obdobných algoritmů chceme studovat evoluci chorálů – zjistit, zda existují místní tradice nebo zda lze například poznat, čím jsou charakteristické starší melodie oproti novějším. O tom se v gregorianistice psalo už před desítkami let, ale až digitální doména umožňuje toto zkoumat ve velkém.“

Mohou výsledky z hudby přinést něco nového i pro biologii? „Upřímně? Pochybuji o tom. Zkoumání biologické evoluce je mnohem dál. V oboru kulturní evoluce se ještě ani neví, jestli vůbec existuje nějaký takový evoluční model společný různým kulturním fenoménům – zda se gregoriánský chorál vyvíjí stejnými mechanismy jako například opičí louskání ořechů, irský folklor či K-pop,“ vysvětluje vedoucí výzkumu.

Kromě samotného poznání a vědeckých publikací bude výstupem projektu i nahrávka. „Neměli bychom zapomínat na podstatu věci – chorály se mají především zpívat,“ uzavírá Jan Hajič mladší. 

foto archiv Jana Hajiče

Jan Hajič mladší: vědec a hudebník

Absolvent informatiky na Matematicko-fyzikální fakultě Univerzity Karlovy nyní působí jako vědecký pracovník v Masarykově ústavu a Archivu Akademie věd ČR. Kromě toho se profesionálně věnuje hudbě – hraje na cembalo (klávesový nástroj, u něhož vzniká zvuk trsáním hrotu o struny) a varhany; s manželkou, zpěvačkou Veronikou Vojířovou, se věnují interpretaci staré hudby.

„Hudbu v rodině úplně nemáme, snad jen praděda prý byl houslista nebo violista v divadelním orchestru. Jako dítě jsem začal hrát na piano a někdy ve třinácti letech jsem začal doopravdy cvičit, díky čemuž mě to začalo bavit,“ vzpomíná Jan Hajič, který šel v rodinných šlépějích a studoval Matematicko-fyzikální fakultu Univerzity Karlovy – babička, profesorka Eva Hajičová, je významná česká jazykovědkyně a profesorka lingvistiky, otec, profesor Jan Hajič, významný český informatik-lingvista.

Autorka je stálou spolupracovnicí redakce, působí na Univerzitě Karlově