Velké čínské technologické společnosti, mezi nimi Alibaba a ByteDance, razantně snížily náklady na inferenci (viz box), tedy cenu, za niž jsou velké jazykové modely umělé inteligence (AI) schopny reagovat na nové podněty. Nic jiného jim ostatně ve snaze vytvořit konkurenceschopné modely ani nezbývalo. Potýkají se totiž s omezeným přístupem k nejkvalitnějším čipům z USA a mají menší rozpočty než jejich západní konkurenti. 

Nižší výkon postačí 

Čínské startupy, jako jsou 01.AI a DeepSeek, srazily náklady například tím, že se při „cvičení“ modelů umělé inteligence soustředily na menší soubory dat. Najímaly také relativně levné, ale kvalifikované počítačové experty. 

Větší technologické firmy, jako jsou Alibaba, Baidu a ByteDance, se také zapojily do cenové války, aby snížily náklady na inferenci o více než 90 procent – tedy na zlomek ceny, kterou nabízejí firmy americké.

AI v akci Inference je proces, jejž používá „vycvičený“ model strojového učení k vyvozování závěrů ze zcela nových dat. Model umělé inteligence, který je schopen vyvozovat závěry, tak může činit i bez příkladů požadovaného výsledku. Jinými slovy, inference je model umělé inteligence v akci.

Společnost 01.AI se sídlem v Pekingu, kterou vede Lee bývalý šéf čínské pobočky Googlu Kchaj-Fü, uvedla, že snížila náklady na inferenci vytvořením modelu trénovaného na menším množství dat, který vyžaduje menší výpočetní výkon. Za tím účelem také optimalizovala svůj hardware. „Silnou stránkou Číny je vytváření cenově dostupných inferenčních mechanismů, jež poté šíří jednotlivé aplikace,“ řekl Lee listu Financial Times.

Tento týden se model Yi-Lightning, jejž 01.AI vyvinula, umístil v žebříčku University of California v Berkeley na společném třetím místě mezi společnostmi spolu s modelem Grok-2 společnosti xAI Elona Muska. Před nimi byly pouze modely od OpenAI a Googlu. 

Čtrnáct centů proti 26 

Hodnocení je založeno na bodování ze strany uživatelů. Ti hodnotí počínání různých modelů na stejné dotazy. Do žebříčku se dostaly i další čínské firmy, jako ByteDance, Alibaba a DeepSeek. 

Náklady na inferenci u modelu Yi-Lightning společnosti 01.AI činí 14 centů za milion tokenů, zatímco u menšího modelu GPT o1-mini společnosti OpenAI je to 26 centů. Zatímco náklady na inferenci u mnohem většího modelu GPT 4o společnosti OpenAI činí 4,40 dolaru na milion tokenů. Počet tokenů použitých k vygenerování odpovědi závisí na složitosti dotazu. 

Lee také uvedl, že Yi-Lightning stojí tři miliony dolarů na počáteční trénink modelu, jejž lze následně doladit pro různé způsoby použití. To je jen zlomek nákladů, které uvádí například společnost OpenAI na své podstatně větší modely. Dodal, že cílem není mít „nejlepší model“, ale konkurenceschopný model, který je pro vývojáře „pětkrát až desetkrát levnější“, aby ho mohli používat k vytváření aplikací.

Mnoho čínských skupin zabývajících se umělou inteligencí, včetně 01.AI, DeepSeek, MiniMax a Stepfun, přijalo takzvaný přístup „expertního modelu“. Tuto strategii poprvé zpopularizovali američtí výzkumníci. Namísto trénování jednoho supervýkonného modelu na rozsáhlé databázi, která používá data sebraná z internetu a dalších zdrojů, kombinuje tento přístup mnoho neuronových sítí vyškolených na datech specifických pro dané odvětví. 

Levní a schopní 

Výzkumníci považují tento přístup za klíčový pro snahu dosáhnout stejné úrovně inteligence jako zmíněný supervýkonný model při menším výpočetním výkonu. Nevýhodou toho přístupu však může být větší chybovost. Inženýři totiž musejí organizovat proces trénování u každého takového expertního modelu zvlášť.

Obtíže se zajištěním odpovídajících dodávek špičkových čipů se čínští hráči v AI branži ve vývoji co nejkvalitnějších datových souborů pro trénink těchto expertních modelů navzájem předhánějí. Lee uvedl, že 01.AI má přístupy ke sběru dat, které přesahují tradiční metodu sbírání dat z internetu (i v češtině je známá jako data scraping). K těmto nástrojům patří například skenování knih a procházení článků služby WeChat, které jsou na otevřeném webu nedostupné. 

Lidé, kteří takovým sběrem, označováním a kategorizací dat zabývají, podle Leeho odvádějí „spoustu nevděčné práce“. Čína se svým obrovským zdrojem schopných a levných inženýrů k tomu však podle něho má lepší předpoklady než USA. „Silnou stránkou Číny není snaha o nejlepší průlomový výzkum, který nikdo předtím nedělal, s neomezeným rozpočtem,“ řekl Lee. „Silnou stránkou Číny je stavět dobře, rychle, spolehlivě a levně.“