První vlaštovkou, která předznamenala, že EU myslí nutnost vytvoření etické i právní regulace vážně, byla tzv. Bílá kniha AI z roku 2020. O čem byla?

Bílá kniha AI z dílny Evropské komise deklarovala, že je třeba přistupovat k AI jednotně. Podkladem pro tento jednotný přístup byla strategie pro AI, kterou Komise připravila už na jaře 2018. A přestože byla Bílá kniha spíše obecným dokumentem, stala se v podstatě základním stavebním kamenem budoucí regulace. Obsahovala totiž nástiny možné politiky, která by měla vést k bezpečnému rozvoji AI v Evropě.

Evropská komise pak začala pracovat na přípravě samotné regulace v podobě AI Actu. V té době už bylo jasné, že pole možného využití umělé inteligence bude široké a používání technologie může zasahovat do některých lidských práv. Bylo tedy potřeba technologii a její vývoj nejen pečlivě sledovat, ale také nad ní získat kontrolu.

Dalo by se říci, že kolébkou umělé inteligence jsou Spojené státy americké. Proč tedy regulace s globální ambicí nevzešla odtamtud?

Protože Američané všeobecně přistupují k regulacím technologií výrazně volněji. Když to zjednoduším, zastávají názor, že regulace by měla případně následovat až ex post. Pokud tedy není nová technologie v rozporu se stávajícími předpisy, do jejího rozvoje a rozšíření úřady nezasahují. A mezitím si svým způsobem ověří, zda bude či nebude mít nějaké zásadní negativní efekty. Pokud ano, odpovědnost pak leží spíše na jejím provozovateli. Dochází k soudním sporům a následným vyrovnáním s poškozenými a přijetím nápravných řešení. Jinak řečeno, v USA primárně neregulují preventivně a jedním z důvodů je samozřejmě to, aby si nepřibrzdili inovace.

Ale aby nedošlo k mýlce, že v USA neexistuje žádné právní ukotvení AI. Samozřejmě existuje, ale jejich legislativa primárně řeší, v jakých oblastech a proč se bude z veřejných rozpočtů do AI investovat, za jakých okolností ji mohou využívat vládní úřady a jak konkrétně, přičemž využívání v rámci vládních orgánů vyžaduje plnění předem připravených standardů. Soukromý sektor ale zásadním regulacím nepodléhá.

Není tedy AI Act jako regulační nástroj tak trochu brzdou rozvoje AI technologií v Evropě?

To zcela určitě je. Ale otázkou je, zda je to dobře či špatně, na to se názory liší. Odpověď totiž záleží na morálních hodnotách toho, koho se budeme ptát. Na jedné straně stojí premisa, že evropský přístup přiškrtí oba sektory, jak veřejný, tak i ten soukromý, jenž je pohonem pokroku. Na druhé straně pak stojí fakt, že soukromá sféra má tendenci k samoregulaci limitovanou a většinou, když už z něj nějaká regulace vzejde, je spíše ku prospěchu korporacím než jednotlivcům. Nebo je nastavená tak, aby výrazně neomezovala dosažení cílů korporace.

Typickým příkladem jisté flexibility v oblasti etických pravidel je samotný sběr dat, na nichž se globálně známé modely AI učí. Při úvahách nesmíme zapomenout ani na rozdílné právní systémy. V USA je možné podat hromadnou žalobu, která umožňuje prostřednictvím jedné žaloby zastupovat velké množství potenciálně poškozených osob i bez jejich přímé účasti. To v evropském prostoru možné není a případné soudní spory tak pro společnosti nejsou dostatečně odstrašující. A dalším argumentem, který je třeba při diskuzi vzít v potaz, je že EU sice na jednu stranu brzdí vývoj, ale na tu druhou zvyšuje právní jistotu a dává investorům jasné mantinely, v nichž se smějí pohybovat.

Nebojíte se, že dojde k odlivu kapitálu, protože třeba nadnárodní společnosti nebudou mít zájem se regulacím podřídit?

Evropská unie už několik let hraje v oblasti digitálních technologií vysokou hru a snaží se ovlivňovat chování nadnárodních firem. Nastavuje regulace v rámci kyberbezpečnosti, ochrany osobních údajů i využívání AI a očekává, že se globální společnosti stanoveným pravidlům přizpůsobí. Do jisté míry spekuluje a sází na to, že evropský trh je stále natolik velký a důležitý, že by pro investory odchod, případně nezahájení obchodní spolupráce znamenal výrazné ztráty.

Nutno dodat, že zatím Evropě tahle hra vabank vychází, ale jak dlouho bude taktika ještě fungovat, se dá jen těžko odhadovat. Protože se může stát, že nám začne kvůli přeregulovanosti utíkat náš vlastní evropský potenciál. Druhým aspektem jsou ale inovace, startupy a podnikatelé mohou zvolit pro založení své společnosti region mimo EU, aby se vyhnuli regulacím, což pak potenciálně připravuje EU o ekonomickou i technologickou sílu.

AI Act rozděluje využívání systémů AI do čtyř kategorií rizika. Nejvýše v pyramidě stojí zcela vyloučené způsoby, které dokument zároveň zakazuje. O jaké aplikace se jedná?

Tyto zakázané praktiky se týkají celospolečenské škodlivosti, kdy hrozí extrémní riziko zneužití na masové úrovni. Nepřijatelnými a zakázanými praktikami jsou proto snahy využívat AI k sociálnímu skórování, tedy klasifikaci lidí na základě chování, socioekonomického postavení nebo osobních charakteristik.

To samé platí o kognitivně-behaviorální manipulaci s lidmi nebo specifickými zranitelnými skupinami, typicky může jít o hlasem aktivované hračky, které podporují nebezpečné chování u dětí. Zakázaná je také biometrická identifikace a kategorizace osob a využívání systémů biometrické identifikace v reálném čase a na dálku. Pod tím si můžeme představit třeba rozsáhlé sledování osob pomocí rozpoznávání obličeje za pomoci městského kamerového systému.

Z těchto zakázaných aplikací však existují výjimky, které jsou v normě jasně stanovené a je zde i jasně řečeno, za jakých okolností je možné technologii použít. Nicméně je třeba si uvědomit, že ač AI Act říká, které jednání jsou nežádoucí, jen těžko si můžeme myslet, že mu dokáže zcela zabránit. Smyslem legislativy není eliminace, protože ta by byla možná jen za cenu absolutní izolace. Regulace má ale minimalizovat riziko společensky nebezpečného zneužití AI.

AI Act dále definuje vysoce rizikové systémy AI, které budou muset být posouzeny před uvedením na trh a dále hlídány po celý svůj životní cyklus. Mezi ně patří i AI systémy určené k hodnocení úvěruschopnosti fyzických osob. Proč je v této oblasti užití AI rizikové?

Základní rozdíl mezi hodnocením za pomoci lidské síly, které je přípustné a za pomoci AI, které je nyní hodnoceno jako vysoce rizikové, je v tom, že rozhodnutí AI nelze zpětně kontrolovat. Algoritmus se rozhodne a nezanechá o své cestě k danému rozhodnutí přezkoumatelnou stopu a zároveň nenese za dané rozhodnutí odpovědnost.

Je prokázané, že modely si dokážou vymýšlet a jejich rozhodování je ovlivněno daty, z nichž se učily. Jenomže ve vstupních data setech už mohou být zaneseny chyby a diskriminace, tedy důvody, proč se model nakonec rozhodne u určité skupiny jinak než u jiné. AI je do jisté míry black box, u nějž je vztah mezi vstupy a výstupy nejasný.

Pokud s matematickými a statistickými modely pracují lidé, je možné kontrolovat a analyzovat nejen modely samotné, ale i rozhodnutí konkrétního člověka. Čili dokud nemáme trasovatelný rozhodovací proces, který bychom mohli kontrolovat a standardizovat, tak jde o technologii, kterou nelze efektivně dozorovat a jejíž využívání je tak třeba v určitých kontextech limitovat.

Další oblastí, která patří do vysokého rizika, jsou systémy AI, které by měly pomáhat při právním výkladu a aplikaci práva. To mi přijde extrémně riziková aplikace. Z jakého důvodu ji evropská komise nechce zakázat zcela?

Umělá inteligence se dnes již v soudnictví používá a má široké pole uplatnění. Žádný právník totiž nemůže znát všechny zákony, všechny judikatury. A umělá inteligence může pomoci, protože umí dělat analýzy velkých korpusů dat. Speciálně v případě hodnocení kvality soudnictví by to mohl být užitečný nástroj. Představte si, že máte ohromnou databázi judikatury, nikdo ji ale není schopen přečíst a dělat na základě těchto dat průzkumy, přezkumy rozhodnutí či rozhodnutí jako taková. A tam je role AI jednoznačná. I to je důvod, proč zůstaly AI systémy určené na pomoc soudnímu orgánu při zkoumání a výkladu faktů a práva a při uplatňování práva na konkrétní soubor skutečností v povolené, ale zároveň v přísně regulované kategorii.

Jak nahlíží AI act na využívání systémů umělé inteligence v rámci zdravotnictví?

Medicínská zařízení jako taková (do nichž z podstaty věci spadají i systémy AI) jsou regulovaná například nařízením Evropského parlamentu z roku 2017, které se jmenuje Medical devices regulation. V něm je zcela jasně a striktně definován přístup k těmto technologiím včetně nutných certifikací a možných způsobů využití. Troufám si říci, že vzhledem k robustnosti celého certifikačního mechanismu je využívání AI v medicíně velmi dobře zabezpečené na úrovni konkrétních řešení a zařízení.

AI Act na lékařské přístroje se systémy umělé inteligence tedy myslí jen tak, že je řadí do kategorie vysokého rizika. Respektive kategorii vysokého rizika dělí do dvou subkategorií. V té první jsou AI systémy ve výrobcích, na něž se vztahují samostatné právní předpisy EU o bezpečnosti výrobků, což je právě i případ medicínské techniky a v té druhé jsou pak systémy AI, které spadají do konkrétních oblastí. V této druhé subkategorii se pak ukrývá třeba regulace využívání AI při hodnocení bonity klientů bankami a podobně.

AI Act byl schválený Evropským parlamentem, což v podstatě znamená konec evropského legislativního procesu. Co se bude dít dál?

Ano, musíme ale počkat na publikaci finální verze AI Actu. V současné době každopádně již vznikla Evropská rada pro AI, dále by měly vzniknout i národní dozorovací orgány a mělo by dojít k postupné implementaci do národních legislativ. Zatím není stanovené, kdy má nařízení přijít v platnost, ale běžně se implementační lhůta stanovuje v délce jednotek let. Nicméně i když zatím AI Act není zakotvený v právních řádech, začíná už mít regulační efekt. Společnosti i státní orgány totiž vědí, co obsahuje a mají tak jasnou představu, čemu se mají v rámci svých investic vyhnout.

Mgr. Václav Stupka Ph.D.Právník a odborník na technologické práve se zaměřením na IT právo, kyberbezpečnost, ochranu dat a digitální agendu.Působí na Masarykově univerzitě jako zástupce ředitele a zakládající člen Národního centra kompetence pro kyberbezpečnost a Centra excelence pro kybernetickou kriminalitu, kyberbezpečnost a ochranu kritické infrastruktury, kde se věnuje koordinaci národních a mezinárodních výzkumných projektů a rozvoji dovedností v oblasti kyberbezpečnosti.Jako zástupce ředitele v institutu CyberSecurity Hub, který byl založen předními českými univerzitami, řídí koordinuje jeho aktivity na národní i mezinárodní úrovni, zvláště v oblastech certifikace a spolupráce s Národním koordinačním centrem.Je také zakladatel společnosti Vigilantis, která se specializuje na compliance, poradenství a školení v oblasti kyberbezpečnosti, ochrany dat a regulace digitálních služeb.