Analytici zjistili, že když požádali tyto chatboty o výběr náhodného čísla mezi 0 a 100, jejich odpovědi nebyly vůbec náhodné. Například GPT-3.5 Turbo upřednostňoval číslo 47, Claude 3 Haiku volil 42 a Gemini měl v oblibě 72. Navíc všechny tyto modely vykazovaly podobné předsudky vůči určitým číslům, stejně jako lidé.

Vyhýbaly se nízkým a vysokým číslům, dvojciferným číslům a kulatým číslům. Místo toho upřednostňovaly čísla končící na 7 a dále ta v rozmezí okolo průměru. Toto chování připomíná lidské tendence považovat určitá čísla za "méně náhodná" než jiná.

Vysvětlení tohoto jevu nespočívá v tom, že by jazykové modely skutečně chápaly koncept náhodnosti nebo měly nějakou vnitřní představu o tom, co je a není náhodné. Tyto systémy jednoduše napodobují vzorce, které nacházejí ve svých tréninkových datech generovaných lidmi.

Protože se v tréninkových datech zřídka vyskytují odpovědi jako 100 nebo 33 na otázku po náhodném čísle, modely je považují za méně přijatelné volby. Naopak odpovědi, které se tam často objevují, jako je 47 nebo 42, se stávají jejich upřednostňovanými výstupy.

Toto pseudolidské chování jazykových modelů odhaluje, že navzdory své sofistikované schopnosti generovat text se nejedná o skutečně myslící bytosti. Jsou to spíše „stochastičtí papoušci“, kteří remixují lidsky vytvořený obsah, aby generovali odpovědi, které vyvolávají zdání, že je vytvořil člověk.

Tento jev je poučnou připomínkou omezení současných jazykových modelů a nutnosti mít na paměti, že jejich chování je výsledkem imitace vzorců v tréninkových datech, nikoli skutečného chápání či myšlení. I když tyto systémy působí lidsky, je důležité si uvědomit, že jsou v tomto ohledu pouhým předstíráním.