Моўная мадэль () — гэта вылічальная мадэль для адлюстравання магчымых паслядоўнасцей лексем натуральнай мовы."LLMs are supposed to model how utterances behave." У аснове моўных мадэляў знаходзяцца размеркаванні імавернасцяў таго, што паслядоўнасць лексем існуе. Моўныя мадэлі ствараюцца на аснове пэўных корпусаў тэкстаў.
Першая значная статыстычная моўная мадэль была прапанавана ў 1980 годзе і цягам дзесяцігоддзя кампанія IBM правяла шэраг эксперыментаў у «стылі Шэнана» (), у якіх патэнцыйныя крыніцы для паляпшэння мадэлявання моў вызначаліся праз назіранне і аналіз здольнасці людскіх падвопытных прадказваць або выпраўляць тэксты.
Моўныя мадэлі карысныя для розных задач, у тым ліку для распазнаванне маўленняKuhn, Roland, and Renato De Mori (1990). "A cache-based natural language model for speech recognition". IEEE transactions on pattern analysis and machine intelligence 12.6: 570–583. (дапамагаючы прадухіліць прадказанні малаімаверных, напрыклад, бессэнсоўных, паслядоўнасцей), машыннага перакладуAndreas, Jacob, Andreas Vlachos, and Stephen Clark (2013). "Semantic parsing as machine translation" . Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers)., (стварэнне тэксту, найбольш падобнага на чалавечы), , Pham, Vu, et al (2014). "Dropout improves recurrent neural networks for handwriting recognition" . 14th International Conference on Frontiers in Handwriting Recognition. IEEE., Htut, Phu Mon, Kyunghyun Cho, and Samuel R. Bowman (2018). "Grammar induction with neural language models: An unusual replication" . .. і .
Вялікія моўныя мадэлі з’яўляюцца сёння найбольш прасунутай іх формай, з’яўляючыся камбінацыяй большых набораў даных (часта выкарыстоўваючы словы, узятыя з агульнадаступнага інтэрнэту), і . Яны замянілі сабой мадэлі, заснаваныя на ,якія раней замянілі чыста-статыстычныя мадэлі, такія як .
Чыста-статыстычныя мадэлі
Мадэлі, заснаваныя на слоўных n-грамах
Экспаненцыйныя
Моўныя мадэлі з кадзіруюць узаемаадносіны паміж словам і гісторыяй n-грама, ужываючы функцыі адзнак. Ураўненне будзе мець наступны выгляд
дзе — гэта , — гэта вектар параметраў, а — функцыя адзнак. У найпрасцейшым выпадку функцыя адзнак будзе індыкатарам прысутнасці пэўнага n-грама. Карысна ўжываць на або нейкую форму .
Лог-білінейная мадэль — яшчэ адзін прыклад экспаненцыйнай моўнай мадэлі.
Нейронныя мадэлі
Рэкурэнтныя нейронныя сеткі Бесперарыўныя прадстаўленні або ствараюцца ў моўных мадэлях, заснаваных на (вядомыя таксама як моўныя мадэлі з бесперапыннай прасторай). Такія ўбудаванні ў бесперапыннай прасторы дапамагаюць змякчыць , які з’яўляецца следствам таго, што колькасць магчымых паслядоўнасцей слоў павялічваецца ў разам з памерам слоўнікавага запасу, што ў будучым выклікае праблему разрэджанасці даных. Нейронныя сеткі абыходзяць гэту праблему прадстаўляючы словы як нелінейныя камбінацыя вагаў у нейроннай сетцы.
Вялікія моўныя мадэлі
Ацэнка і параўнаўчыя тэсты
Ацэнка якасці моўных мадэляў часцей робіцца праз параўнанне створаных чалавекам з тыпічных моўна-арыентаваных задач эталонаў. Іншыя, менш рэгламентаваныя тэсты якасці даследуюць унутраны характар моўнай мадэлі або параўноўваюць дзве такія мадэлі. Паколькі ў моўных мадэлях звычайна закладаецца іх дынамічнасць і навучанне з даных, якія яны бачаць, некаторыя прапанаваныя мадэлі даследуюць хуткасць навучання, напр., шляхам праверкі крывых навучання.
Для ацэнкі сістэм апрацоўкі мовы былі распрацаваны розныя наборы даных. Да іх адносяцца:
Корпус лінгвістычнай прымальнасці GLUE benchmark Microsoft Research Paraphrase Corpus Шматжанравае мадэляванне вываду на натуральнай мове Пытанні праз інтэрфейсы на натуральнай мове Пары пытанняў-адказаў Quora Распазнаванне імпліцытных ведаў у тэкстах Эталон семантычнага тэкставага падабенства Тэст адказу на пытанні SQuAD Stanford Sentiment Treebank Winograd NLI BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, MMLU (Massive Multitask Language Understanding), BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender, CrowS-Pairs. (LLaMa Benchmark)
Крыніцы
Дадатковая літаратура
Катэгорыя:Маркаўскія мадэлі