Velký jazykový model ( – zkráceně LLM) je počítačový model jazyka založený na neuronové síti s mnoha parametry (typicky miliardami vah nebo více), trénované na velkém množství textu pomocí samoučení (self-supervised learning), částečného učení s učitelem (semi-supervised learning) nebo zpětnovazebního učení. Tato technologie je řazena k umělé inteligenci.
Oproti velkému jazykovému modelu stojí malý jazykový model (SLM) s jednotkami až desítkami miliard parametrů (napříkld Fara od MSFT). Též existuje tiny recursive models (TRM), který byl představen v druhé polovině 2025 Samsungem.
V polovině roku 2025 přišel americký MIT s technologií Self-Adapting LLMs (SEAL), rámcem, který umožňuje velkým jazykovým modelům, aby se samy učily a zlepšovaly tím, že vytvářejí svá tréninková data a instrukce pro vlastní aktualizace.
Historie Velké jazykové modely se objevily kolem roku 2018 a používají se jako základní modely pro širokou škálu úkolů. To posunulo těžiště výzkumu zpracování přirozeného jazyka od předchozího paradigmatu vytváření specializovaných a na učení s učitelem založených modelů pro konkrétní úkoly.
Multimodálnost Jazykové modely začaly být v roce 2023 multimodální, tedy zvládaly přijmout různorodé vstupy (tzv. prompty), a kromě textů tvořit i obrázky.
Též umí tvořit audio či video (Sora, Wan2.2 či Vidi2). Oproti lidem ale nadále zaostávají. Na podzim 2025 byl představen Marble od World Labs, který tvoří 3D obrazy a videa z textového promptu. Google představil březnu 2026 Gemini 2 Embedding či Zhenzan od HiDream.
Schopnosti uvažování V druhé půlce roku 2024 začaly modely získávat schopnost uvažování nad zadaným kontextem, tzv. reasoning. Tato schopnost přesahuje jednoduché generování textu a zahrnuje pokročilé úlohy, jako je logické uvažování, řešení víceúrovňových problémů, řetězec uvažování (chain of thought) nebo dedukce na základě poskytnutých dat. Mezi takové modely patří například o1, o3 či MetaMathQA.
Seznam LLM Ox Alpha Americké GPT-x v různých verzích od OpenAI gpt-oss rodina modelů, které jsou tzv. open-weighs (120 a 20 miliard parametrů, ty jsou dostupné ke stažení a lokálnímu použití) Gemini (dříve Bard) od Google předchůdcem byl PaLM taktéž od Google výzkumný model NotebookLM taktéž od Google Gemma od Google (odlehčené modely tvořené obdobně jako Gemini) MedGemma od Google zaměřený na medicínu Claude s sub modely Opus a Sonnet od Anthropicu Llama od Meta Muse Sparkhttps://ai.meta.com/blog/introducing-muse-spark-msl/ Muse Glimmerhttps://developer.meta.com/ai/models/muse-glimmer/ Copilot (dříve BingChat) od Microsoftu založený na ChatGPT MAI-DxO, vlastní AI reasoning model zaměřený na medicínu Phi (malý jazykový model) Fara MAI-1-preview od Microsoftu PPLX Online od Perplexity Grok od X (resp. od xAI) Sonus AI od Rubiks AI (v roce 2024 měli model Nova) Sky od NovaSky (Kalifornská univerzita) Command A od Cohere Nova od Amazonu Cogito od DeepCogito SWE-1 od Windsurf Solar od Upsatge Orchestrator od Nvidia Nemotron 3 Trinity od Acree LFM (Liquid Foundational Models) od Liquid Smaug od Abacus CLaRa od Applu
Modely, založené na jiných LLM Hermes od Nous-Hermes (LLama a Deepseek)
Vývoj ukončen
Watson od IBM, který v srpnu 2023 implementoval Llama 2
Asijské Ernie od Baidu Exaone od LG Pangu od Huawei Qwen a multimodální R1-Omni od Alibaba Manus (software) – autonomní AI agent od firmy Monica, založený na LLM od Baidu a Claude, od března spolupracující s Qwen Kimi od MoonshotAI Yi od O1 DeepSeek od DeepSeek DuoBao od ByteDance Hailuo AI od MiniMax Hy (dříve Hunyuan) od Tencent HY TinySwallow od SekanaAI M1 od MiniMax GLM od Z.Ai Ling, Ring a Ming od InclusionAI MiMo od Xiaomi Meituan LongCat Step od StepFun AntLing od InclusionAI Baichuan od Baichuan Intelligent Technology IQuest Coder od IQuest Lab MiniCPM od OpenBMB Nanbeige od BOSS Zhipin OpenCoder od Inf BGE od BAAI Codefuse od Codefuse Nex Nx od Nex
Evropské
Mistral, Pixtral a Devstral od Mistral AI Yandex GPT od Yandex SeLLMa od Seznam.cz Apertus od Švýcarského federální technologického institut
Využití LLM jsou modely pro všeobecné použití, které vynikají v široké škále úkolů, na rozdíl od modelů pro jeden konkrétní úkol (jako je analýza sentimentu, rozpoznávání pojmenovaných entit nebo matematické uvažování). Dovednost, s jakou LLM plní úkoly, a rozsah úkolů, které jsou schopné řešit, je především funkcí množství zdrojů (dat, počtu parametrů, výpočetního výkonu), které jsou jejich tvorbě věnovány; nejsou tedy založeny na průlomových změnách designu neuronových sítí oproti stavu vědy před rokem 2018, ale spíše mohly vzniknout díky překročení kritické hranice v množství dat a výpočetních zdrojů.
Přestože se neuronové jazykové modely s dostatečným školením a počty parametrů trénují na jednoduchých úkolech ve smyslu předvídání dalšího slova ve větě, dokázaly se celkem dobře naučit syntaxi a sémantice lidského jazyka. Velké jazykové modely navíc prokazují značné obecné znalosti o světě a dokáží si během učení „zapamatovat“ velké množství faktů. Mohou také navrhovat počítačové programy na základě uživatelových požadavků, případně je rovnou samy tvořit metodologií vibe coding.
Velké jazykové modely lze používat přímo jako partnery k rozhovoru, například při učení se cizím jazykům, anebo na jejich základě tvořit počítačové aplikace přizpůsobené specifickým požadavkům. Pro tvorbu těchto aplikací lze kromě obecnějších programovacích jazyků využít i specializované frameworky, jako je LangChain.
LLM se učí na datech rozdílných kvalit a pravdivosti. Mohou tedy obsahovat a opakovat dezinformace, konspirace či stereotypy. Vzhledem k tomu, že trénovací data velkých modelů jsou převážně v angličtině, modely pak často prezentují anglo-americkou perspektivu jako jedinou správnou.
Byť LLM mívají zakázáno poskytovat neetické rady, takové omezení lze často obejít.
Vlastnosti
Data LLM se učí na velkých souborech textových dat. Některé běžně používané datové sady jsou Common Crawl, The Pile, MassiveText, Wikipedia a GitHub. Datové sady mají rozsah až 10 bilionů slov.
Celková světová zásoba vysoce kvalitních jazykových dat se pohybuje v rozmezí 4,6–17 bilionů slov, což je řádově v rozsahu největších použitých textových datových sad.
LLM tak spíše cituje, než uvažuje.
Škálování Obecně lze LLM charakterizovat čtyřmi parametry: velikost modelu, rozsah trénovací datové sady, náklady na učení, výkon modelu. Každá z těchto čtyř proměnných může být přesně definována a kvantifikována a empiricky bylo zjištěno, že jejich vzájemnou závislost lze zhruba vystihnout vzorci, nazývanými zákonitosti měřítka (anglicky scaling laws).
Jednu konkrétní zákonitost (zvanou „Chinchilla scaling“) pro model autoregresivně učený po jednu epochu s log-log rychlostí učení lze přibližně popsat takto:kde proměnné jsou
jsou náklady na trénování modelu ve FLOPS je počet parametrů v modelu je počet tokenů (zhruba řečeno slov) v tréninkové sadě je průměrná chyba na token (vyjádřená jako negativní logaritmická věrohodnost, nats/token), dosažená hotovým LLM na testovací datové sadě
a regresní parametry jsou
, což znamená, že učení na jednom tokenu vyžaduje 6 FLOPS na parametr. Výpočetní náklady na učení jsou mnohem vyšší než náklady na provoz hotového modelu, kde zpracování jednoho tokenu stojí 1 až 2 FLOP na parametr. .J. Hoffmann, S. Borgeaud, A. Mensch, E. Buchatskaya, T. Cai, E. Rutherford, D. d. L. Casas, L. A. Hendricks, J. Welbl, A. Clark, et al., "Training Compute-Optimal Large Language Models," arXiv:2203.15556
Emergentní schopnosti náhled| V řadě srovnávacích testů přirozeného jazyka zahrnujících úkoly jako odpovídání na otázky, nefungují modely lépe než náhodná odpověď, dokud nedosáhnou určité velikosti (v tomto případě měřené výpočetními náklady na jejich vznik). Pak se jejich výkon prudce zvýší. To jsou příklady emergentních schopností. I když obecně platí, že výkon velkých modelů na různých úkolech lze extrapolovat na základě výkonu podobných menších modelů, někdy dochází k „průlomům“ (breaks),Caballero, Ethan; Gupta, Kshitij; Rish, Irina; Krueger, David (2022). Broken Neural Scaling Laws. International Conference on Learning Representations (ICLR), 2023. skokovým nárůstům schopností, takže větší modely získají podstatně lepší schopnosti, než by se dalo čekat na základě zkušenosti z menších modelů. Ty se často označují jako „emergentní schopnosti“ a jsou předmětem rozsáhlého studia. Výzkumníci tvrdí, že takové schopnosti často „nelze předvídat jednoduše extrapolací výkonu menších modelů“. Spíše se samy objevují než aby byly naprogramovány nebo navrženy. V některých případech se na ně přišlo až po veřejném nasazení LLM. Byly popsány již stovky emergentních schopností. Příklady jsou vícekrokové aritmetické výpočty, složení zkoušek vysokoškolské úrovně, identifikace zamýšleného významu mnohoznačného slova, myšlenkové postupy, dekódování mezinárodní fonetické abecedy, uhodnutí slova na základě seznamu jeho písmen, identifikace urážlivého obsahu v textech psaných hinglish (kombinace hindštiny a angličtiny) a generování podobného anglického ekvivalentu svahilských přísloví.
Halucinace Bylo pozorováno, že generativní LLM sebejistě tvrdí věci, které se neopírají o jejich trénovací data, což je jev, který se nazývá halucinace.
Architektura Velké jazykové modely nejčastěji používají architekturu transformeru, která se od roku 2017 stala standardní technikou hlubokého učení pro sekvenční data (dříve byly nejběžnější RNN, jako je LSTM).
Tokenizace Tokenizace je převod textu na tokeny. Tokenizace je pro převedení textu do numerické podoby a jde tak o první krok při zpracování přirozeného jazyka, aby text mohl být strojově využit. LLM je jazykový model založený na neuronové síti, kde vstupem i výstupem jsou vektory čísel. V důsledku toho musí být slova převedena na čísla.
Proto každý LLM používá samostatný tokenizer. Ten kóduje texty na posloupnosti celých čísel. Tokenizer se nejprve nastaví na celé trénovací datové sadě, aby ji dokázal reprezentovat, poté se zmrazí, načež se naučí samotný LLM. Běžnou volbou je kódování bajtových párů (byte pair encoding).
Další funkcí tokenizerů je komprese textu, která šetří paměť počítače. Běžná slova nebo fráze jako „kde je“ lze místo několika znaků zakódovat jediným tokenem. Řada OpenAI GPT používá tokenizer, který na 1 token mapuje přibližně 4 znaky nebo přibližně 0,75 slova v běžném anglickém textu. Neobvyklý text je méně předvídatelný, tudíž méně komprimovatelný, a proto jeho kódování vyžaduje více tokenů.
Výstupem tokenizeru nemůže být libovolné celé číslo, ale pouze celá čísla v rozsahu , kde se nazývá velikost slovní zásoby tokenizeru.
Některé tokenizery jsou schopny zpracovat libovolný text (obecně tím, že pracují přímo s jeho Unicode reprezentací), ale jiné ne. Když narazí na nekódovatelný text, tokenizer vypíše speciální token (často 0), který představuje neznámý text. Toto se často zapisuje jako [UNK], například v článku o BERT.
Dalším běžně používaným speciálním tokenem je [PAD] (často 1) jako „vycpávka“. Ta se používá, protože LLM obecně na vstup dostává celý tokenizovaný text najednou, a tyto texty obecně nemají stejnou délku. Vzhledem k tomu, že LLM obecně vyžadují, aby vstupem byl vektor přesně zadané délky, kratší kódované texty musejí být na konci doplněny vycpávkou.
Výstup Základním výstupem LLM je rozdělení pravděpodobnosti nad jeho slovní zásobou. To se obvykle dosahuje takto:
Po zpracování textu LLM vygeneruje vektor kde je velikost jeho slovní zásoby (definovaná výše). Vektor projde funkcí softmax , která jej normalizuje.
Vektor se obvykle nazývá nenormalizovaný logitový vektor a vektor se nazývá vektor pravděpodobnosti. Má prvků, všechny nezáporné, a jejich součet je 1, můžeme ho interpretovat jako rozdělení pravděpodobnosti přes — to znamená, že se jedná o rozdělení pravděpodobnosti nad slovníkem LLM.
Učení