Model językowy – model zdolności ludzkiego mózgu do tworzenia języka naturalnego. Modele językowe są przydatne w przypadku wielu zadań, w tym rozpoznawania mowy, tłumaczenia maszynowego, generowania języka naturalnego (generowania tekstu bardziej przypominającego tekst pisany przez człowieka), optycznego rozpoznawania znaków, optymalizacji tras, rozpoznawania pisma ręcznego, inferencji gramatyki i wyszukiwania informacji.
Duże modele językowe (LLM), obecnie najbardziej zaawansowana forma modeli językowych, opierają się głównie na transformerach trenowanych na większych zbiorach danych (często przy użyciu danych pozyskanych z publicznego Internetu). Zastąpiły one modele oparte na rekurencyjnych sieciach neuronowych, które wcześniej zastąpiły modele czysto statystyczne, takie jak model n-gramowy.
Historia Noam Chomsky w latach 50. XX wieku przeprowadził pionierską pracę nad modelami języka, opracowując teorię gramatyk formalnych.
W 1980 roku zaczęto badać podejścia statystyczne i odkryto, że są one dla wielu celów bardziej przydatne niż gramatyki formalne oparte na regułach. Dyskretne reprezentacje, takie jak modele językowe n-gram, stały się najbardziej popularne.
W latach 2000. ciągłe reprezentacje słów, takie jak osadzenia słów, zaczęły zastępować reprezentacje dyskretne.
Przypisy
Kategoria:Modelowanie języka