V roce 2022 si tehdy šestnáctiletý Cai jako mnoho jeho vrstevníků surfoval videi na sociálních sítích. První, co mu jeho feed nabídl, byl klip s roztomilým psíkem. Poté však najednou přišel zvrat. „Zničehonic“ mu algoritmus doporučil video, kde auto srazí člověka, monolog influencera s misogynními názory a záběry násilných rvaček. Cai, který podobný obsah sám od sebe nevyhledává, byl jako opařený a kladl si otázku: „Proč se to zobrazuje právě mně?“

Podobné zkušenosti nejsou ojedinělé. Algoritmy sociálních sítí, jako jsou TikTok či Instagram, opakovaně doporučují dětem a mladistvým škodlivý obsah. Britský regulační úřad Ofcom upozorňuje, že tyto platformy přistupují k dětem stejně jako k dospělým. „Firmy zavírají oči před tím, jaký obsah děti vidí,“ říká Almudena Lara, ředitelka politiky online bezpečnosti u Ofcomu, po dotazu BBC.

Cai se rozhodl jednat. Na TikToku i Instagramu využil funkce, které umožňují označit videa jako nezajímavá. Chtěl algoritmům dát jasně najevo, že o násilí ani misogynii nestojí. Přesto právě takový obsah zaplavoval jeho feed dál. „Ty obrazy se vám vryjí do hlavy a už se jich nezbavíte. Pořád na ně musíte myslet,“ popisuje, jaký psychický dopad na něj nežádoucí videa měla.

Zároveň pozoroval, že dívky jeho věku vidí na sociálních sítích jiný obsah, většinou zaměřený na hudbu nebo líčení. Caiovi však algoritmy neustále předkládaly klipy plné destrukce nebo videa, která banalizovala domácí násilí. Jedno z nich například ukazovalo muže a ženu sedící vedle sebe. Žena měla modřiny a u toho byl popisek „Můj jazyk lásky“. Další záběry znázorňovaly člověka, kterého srazila dodávka.

Algoritmy pod drobnohledem

Cai si začal všímat, že videa s miliony lajků mají vliv na jeho vrstevníky. Jeden z jeho přátel se ponořil do tvorby kontroverzního influencera a postupně přebíral jeho misogynní názory. „Začal říkat věci o ženách, které byly úplně mimo. Musel jsem mu vysvětlit, že to, co sleduje, není správné,“ vzpomíná Cai.

Bývalý analytik TikToku Andrew Kaung, který měl na starosti uživatelskou bezpečnost, vysvětluje, že algoritmy jsou postaveny na interakci. A nezáleží na tom, zda je tato interakce pozitivní, nebo negativní. „Prvním krokem je, že uživatelé při registraci uvedou své zájmy. Algoritmus pak vychází nejen z těchto údajů, ale i z preferencí jiných uživatelů stejného věku a lokality,“ říká.

Podle Kaunga algoritmy sice nezohledňují pohlaví uživatelů, ale zadané zájmy často vedou k jejich implicitnímu rozdělení. Například teenageři, kteří sledují akční obsah, jsou náchylnější k tomu, že jim bude doporučen násilný obsah. Naopak dívky, které uvedou zájmy jako popová hudba či líčení, násilí téměř nevidí.

Kaung rovněž upozorňuje, že algoritmy fungují na principu učení. Tento přístup umožňuje systémům samostatně se zdokonalovat na základě chování uživatelů, například podle toho, jak dlouho dané video sledují. Algoritmy se ale nezastaví, ani když uživatel projeví nezájem.

Kaung také přiznává, že během jeho práce v TikToku měli vývojáři omezený přístup k obsahu, který algoritmy doporučovaly. „Viděli jsme jen abstraktní data – počty zhlédnutí, věk uživatelů, trendy. Obsah jsme neznali,“ říká. Spolu s kolegou navrhl, aby videa byla označována podle povahy (například extrémní násilí, pornografie) a moderátoři měli možnost lépe rozlišovat škodlivý obsah. Tyto návrhy však TikTok tehdy odmítl.

Hledání řešení

Kaung proto uvedl, že by dětem a dospívajícím nejvíce prospělo, kdyby prostě přestali své smartphony používat. Jenže podle Caie ani větší počet moderátorů, ani zákaz telefonů u mladistvých situaci nevyřeší. „Telefon je součástí mého života. Používám ho k tomu, abych si psal s kamarády, hledal cestu nebo platil,“ říká.

Místo zákazů by uvítal, kdyby firmy více respektovaly přání uživatelů a vylepšily nástroje, které jim umožňují ovlivnit doporučovaný obsah. „Mám pocit, že společnostem nezáleží na tom, co si přejete, pokud díky tomu vydělávají peníze,“ dodává.

Britský regulační úřad Ofcom tvrdí, že problém doporučování škodlivého obsahu není nový. Almudena Lara zdůrazňuje, že zatímco obsah podporující poruchy příjmu potravy či sebepoškozování – zaměřený převážně na dívky – se už do centra pozornosti v poslední době dostal, algoritmické procesy vedoucí k šíření nenávisti a násilí u chlapců jsou často přehlíženy.

Nový zákon v Británii nyní požaduje, aby sociální sítě ověřovaly věk dětí a zabránily doporučování pornografie či jiného škodlivého obsahu mladistvým. TikTok i Meta, vlastník Instagramu, tvrdí, že již mají pokročilé technologie na ochranu mladistvých. Původem čínská síť například uvádí, že blokuje obsah, který by mohl být nevhodný, a Meta prohlašuje, že má více než 50 nástrojů pro zajištění bezpečného prostředí pro mladé uživatele.

Přesto zůstává otázkou, zda tato opatření skutečně zabrání algoritmům, aby přispívaly k šíření nenávisti a násilí. Uživatelé, jako je Cai, stále čekají na dobu, kdy pro ně internet bude zase bezpečným a příjemným místem.