náhled|BERT pracuje s kontextem v textu zleva u zprava. Bidirectional Encoder Representations from Transformers (BERT), volně Obousměrné kódovací reprezentace z transformátorů, je velký jazykový model, tedy předtrénovaný základní model pro zpracování přirozeného jazyka (NLP). Je založený na transformerech. Je schopen pracovat s kontextem textu zleva i zprava, tedy v celé větě, na rozdíl od GPT, který je autoagresivní model a rozumí jen kontextu zleva. Důvodem je sada trénovacích dat, základní model u BERT je maskovaný jazykový model, u GPT se jedná o kauzální jazykový model.
Historie a využití BERT vytvořil a v roce 2018 zveřejnil Jacob Devlin a jeho kolegové ze společnosti Google. V roce 2019 společnost Google oznámila, že začala využívat BERT ve svém vyhledávači, a koncem roku 2020 používala BERT téměř v každém dotazu v anglickém jazyce. Průzkum literatury z roku 2020 dospěl k závěru, že "za něco málo přes rok se BERT stal všudypřítomným základem v experimentech NLP", přičemž napočítal přes 150 výzkumných publikací analyzujících a vylepšujících tento model. BERT je též vědci využíván i v kombinaci s konvolučními neuronovými sítěmi (CNN) pro výzkum nenávistných projevůhttps://web.archive.org/web/20230819220049/https://aclanthology.org/2020.semeval-1.271.pdf či detekci emocí.
Způsob fungování BERT se snaží o kontextové porozumění neoznačeného textu v široké škále úloh tím, že se naučí předvídat text, který může být před a po (obousměrném) jiném textu, což je rozdíl oproti GPT, kde je tok v neuronové síti jednosměrný.
Původní anglickojazyčný BERT má dva modely:
BERTBASE: 12 kódovačů s 12 obousměrnými samočinnými hlavami, BERTLARGE: 24 kódovačů s 16 obousměrnými samočinnými hlavami.
Oba modely jsou předem natrénovány z neoznačených dat získaných z korpusu BooksCorpus s 800 miliony slov a anglické Wikipedie s 2 500 miliony slov.
Využití je například následující:
Určení, zda jsou recenze filmu pozitivní nebo negativní. Pomáhá chatbotům odpovídat na otázky. Pomáhá předvídat text při psaní e-mailu Dokáže rychle shrnout obsah dlouhých textů. Rozlišuje slova, která mají více významů, na základě okolního textu.
Odkazy
Reference
Kategorie:Počítačová lingvistika Kategorie:Umělá inteligence Kategorie:Rozpoznávání řeči Kategorie:Velké jazykové modely Kategorie:Vzniklo 2018