Un model de llenguatge de memòria cau és un tipus de model de llenguatge estadístic. Aquests es produeixen en el subcamp del processament del llenguatge natural de la informàtica i assignen probabilitats a seqüències de paraules determinades mitjançant una distribució de probabilitat. Els models de llenguatge estadístic són components clau dels sistemes de reconeixement de veu i de molts sistemes de traducció automàtica: indiquen a aquests sistemes quines possibles seqüències de paraules de sortida són probables i quines són improbables. La característica particular d'un model de llenguatge de memòria cau és que conté un component de memòria cau i assigna probabilitats relativament altes a paraules o seqüències de paraules que apareixen en altres llocs d'un text determinat. L'ús principal, però no únic, dels models de llenguatge de memòria cau és en els sistemes de reconeixement de veu.
Per entendre per què és una bona idea que un model de llenguatge estadístic contingui un component de memòria cau, es podria considerar algú que dicta una carta sobre elefants a un sistema de reconeixement de veu. Els models de llenguatge N-gram estàndard (sense memòria cau) assignaran una probabilitat molt baixa a la paraula "elephant" perquè és una paraula molt rara en anglès. Si el sistema de reconeixement de veu no conté un component de memòria cau, la persona que dicta la lletra es pot molestar: cada vegada que es diu la paraula "elephant" es pot reconèixer una altra seqüència de paraules amb una probabilitat més alta segons el model de llenguatge N-gram (per exemple, "tell a plan"). Aquestes seqüències errònies s'hauran d'eliminar manualment i substituir al text per "elephant" cada vegada que es digui "elephant". Si el sistema té un model de llenguatge de memòria cau, "elephant" probablement encara es reconeixerà erròniament la primera vegada que es digui i s'haurà d'introduir al text manualment; Tanmateix, a partir d'aquest punt, el sistema és conscient que és probable que "elephant" torni a aparèixer: la probabilitat estimada d'aparició d'"elephant" s'ha incrementat, cosa que fa més probable que, si es diu, es reconegui correctament. Un cop "elephant" ha aparegut diverses vegades, és probable que el sistema el reconegui correctament cada vegada que es diu fins que la lletra s'hagi dictat completament. Aquest augment de la probabilitat assignada a l'aparició d'"elephant" és un exemple d'una conseqüència de l'aprenentatge automàtic i més concretament del reconeixement de patrons.
Existeixen variants del model de llenguatge de memòria cau en què no només a paraules individuals, sinó també a seqüències de diverses paraules que han aparegut anteriorment, se'ls assigna probabilitats més altes (per exemple, si "San Francisco" aparegués a prop del principi del text, les instàncies posteriors tindrien una probabilitat més alta).
El model de llenguatge de memòria cau es va proposar per primera vegada en un article publicat el 1990, (Abstract) després del qual el grup de reconeixement de veu d'IBM va experimentar amb el concepte. El grup va descobrir que la implementació d'una forma de model de llenguatge de memòria cau produïa una disminució del 24% en les taxes d'error de paraula un cop s'havien dictat els primers centenars de paraules d'un document. Conference: Speech and Natural Language, Proceedings of a Workshop held at Pacific Grove, California, USA, February 19–22, 1999. Un estudi detallat de les tècniques de modelització del llenguatge va concloure que el model de llenguatge de memòria cau era una de les poques tècniques noves de modelització del llenguatge que produïa millores respecte a l'enfocament estàndard de N-grams: "Els nostres resultats d'emmagatzematge en memòria cau mostren que l'emmagatzematge en memòria cau és, amb diferència, la tècnica més útil per a la reducció de la perplexitat a mides de dades d'entrenament petites i mitjanes".
El desenvolupament del model de llenguatge de memòria cau ha generat un interès considerable entre els interessats en la lingüística computacional en general i en el processament estadístic del llenguatge natural en particular: recentment, hi ha hagut interès en aplicar el model de llenguatge de memòria cau en el camp de la traducció automàtica estadística.
L'èxit del model de llenguatge de memòria cau en la millora de la predicció de paraules es basa en la tendència humana a utilitzar paraules de manera "ràfega": quan es discuteix un tema determinat en un context determinat, la freqüència amb què s'utilitzen certes paraules serà força diferent de les seves freqüències quan es discuteixen altres temes en altres contextos. Els models de llenguatge tradicionals d'N-gram, que es basen completament en informació d'un nombre molt petit (quatre, tres o dues) de paraules que precedeixen la paraula a la qual s'ha d'assignar una probabilitat, no modelen adequadament aquesta "ràfega".
Recentment, el concepte de model de llenguatge de memòria cau, concebut originalment per al paradigma del model de llenguatge estadístic de N-grams, s'ha adaptat per al seu ús en el paradigma neuronal. Per exemple, treballs recents sobre models de llenguatge de memòria cau continus en l'entorn de la xarxa neuronal recurrent (RNN) han aplicat el concepte de memòria cau a contextos molt més amplis que abans, cosa que ha aconseguit reduccions significatives en la perplexitat. Una altra línia de recerca recent consisteix a incorporar un component de memòria cau en un model de llenguatge neuronal de prealimentació (FN-LM) per aconseguir una adaptació ràpida del domini.
Referències
Categoria:Aprenentatge automàtic