La comparativa de models de llenguatge són proves estandarditzades dissenyades per avaluar el rendiment dels models de llenguatge en diverses tasques de processament del llenguatge natural. Aquestes proves estan pensades per comparar les capacitats de diferents models en àrees com la comprensió del llenguatge, la generació i el raonament.
Els punts de referència generalment consten d'un conjunt de dades i les mètriques d'avaluació corresponents. El conjunt de dades proporciona exemples de text i anotacions, mentre que les mètriques mesuren el rendiment d'un model en tasques com ara la resposta a preguntes, la classificació de text i la traducció automàtica. Aquests punts de referència són desenvolupats i mantinguts per institucions acadèmiques, organitzacions de recerca i actors de la indústria per fer un seguiment del progrés en el camp.
Visió general miniatura|Rendiment dels models d'IA en diversos punts de referència del 1998 al 2024
Tipus Els punts de referència es poden descriure amb els adjectius següents, que no són mútuament excloents:
Clàssic : Aquestes tasques s'estudien en el processament del llenguatge natural, fins i tot abans de l'aparició de l'aprenentatge profund. Alguns exemples són el Penn Treebank per avaluar l'anàlisi sintàctica i semàntica, així com la traducció bilingüe avaluada amb puntuacions BLEU. Resposta a preguntes: aquestes tasques tenen una pregunta de text i una resposta de text, sovint de tipus test. Poden ser de llibre obert o de llibre tancat. El control de qualitat a llibre obert s'assembla a les preguntes de comprensió lectora, amb passatges rellevants inclosos com a anotació a la pregunta, on apareix la resposta. El control de qualitat a llibre tancat no inclou passatges rellevants. El control de qualitat a llibre tancat també s'anomena preguntes i respostes de domini obert. Abans de l'era dels grans models lingüístics, el control de qualitat a llibre obert era més comú i s'entenia com la prova de mètodes de recuperació d'informació. El control de qualitat a llibre tancat es va fer habitual des de la GPT-2 com a mètode per mesurar el coneixement emmagatzemat dins dels paràmetres del model. Òmnibus: Un punt de referència òmnibus combina molts punts de referència, sovint publicats anteriorment. Està pensat com una solució de benchmarking tot en un. Raonament: Aquestes tasques solen tenir el format de preguntes i respostes, però estan pensades per ser més difícils que les preguntes estàndard de resposta. Multimodals: Aquestes tasques requereixen el processament no només de text, sinó també d'altres modalitats, com ara imatges i so. Alguns exemples són l'OCR i la transcripció. Agència: Aquestes tasques són per a un agent de programari basat en un model de llenguatge que opera un ordinador per a un usuari, com ara editar imatges, navegar per la web, etc. Adversarial: Un punt de referència és "adversarial" si els elements del punt de referència es trien específicament de manera que certs models hi tinguin un mal rendiment. Els punts de referència adversaris sovint es construeixen després que els models SOTA hagin saturat un punt de referència, per renovar-lo. Un punt de referència només és "adversari" en un moment determinat, ja que allò que és adversari pot deixar de ser-ho a mesura que apareixen nous models SOTA.
La frontera entre un punt de referència i un conjunt de dades no és nítida. Generalment, un conjunt de dades conté tres "divisions": entrenament, prova i validació. Tant la divisió de prova com la de validació són essencialment punts de referència. En general, un punt de referència es distingeix d'un conjunt de dades de prova/validació en què un punt de referència normalment està pensat per mesurar el rendiment de molts models diferents que no estan entrenats específicament per obtenir bons resultats en el punt de referència, mentre que un conjunt de prova/validació està pensat per mesurar el rendiment dels models entrenats específicament en el conjunt d'entrenament corresponent. En altres paraules, un punt de referència es pot considerar com un conjunt de proves/validació sense un conjunt d'entrenament corresponent.
Per contra, certs punts de referència es poden utilitzar com a conjunt d'entrenament, com ara el Gigaword anglès o el punt de referència d'un milió de paraules, que en llenguatge modern és només la pèrdua de probabilitat logarítmica negativa en un conjunt de preentrenament amb mil milions de paraules. De fet, la distinció entre punt de referència i conjunt de dades en els models de llenguatge es va fer més nítida després de l'auge del paradigma de preentrenament.
Cicle de vida Generalment, el cicle de vida d'un punt de referència consta dels passos següents:
Inici: Es publica un punt de referència. Es pot donar simplement com a demostració del poder d'un nou model (implícitament) que altres han agafat com a punt de referència, o com a punt de referència que s'anima a altres a utilitzar (explícitament). Creixement: Més articles i models utilitzen el punt de referència, i el rendiment del punt de referència creix. Maduresa, degeneració o obsolescència: un punt de referència pot estar saturat, després del qual els investigadors passen a altres punts de referència. El progrés en el punt de referència també es pot descuidar a mesura que el camp es centra en altres punts de referència. Renovació: Un punt de referència saturat es pot actualitzar per deixar d'estar saturat, cosa que permet un progrés posterior.
Construcció Igual que els conjunts de dades, els punts de referència es construeixen normalment mitjançant diversos mètodes, individualment o en combinació:
Extracció web: Es poden extreure en línia parells de preguntes i respostes ja fets, com ara de llocs web que ensenyen matemàtiques i programació. Conversió: Els elements es poden construir programàticament a partir de contingut web extret, com ara eliminant les entitats amb nom de les frases i demanant al model que ompli l'espai en blanc. Això es va utilitzar per fer la tasca de comprensió lectora de la CNN/Daily Mail. Crowdsourcing: els elements es poden construir pagant a gent perquè els escrigui, com ara a Amazon Mechanical Turk. Això es va utilitzar per fer el MCTest.
Avaluació Generalment, els punts de referència estan completament automatitzats. Això limita les preguntes que es poden fer. Per exemple, amb preguntes matemàtiques, "demostrar una afirmació" seria difícil de comprovar automàticament, mentre que "calcular una resposta amb una resposta entera únic" seria automàticament verificable. Amb les tasques de programació, la resposta generalment es pot comprovar executant proves unitàries, amb un límit superior de temps d'execució.
Les puntuacions de referència són dels següents tipus:
Per a preguntes de tipus test o de tancament, les puntuacions habituals són l'exactitud (freqüència de la resposta correcta), la precisió, la recuperació, la puntuació F1, etc. pass@n: El model està donat intents de resoldre cada problema. Si algun intent és correcte, el model guanya un punt. La puntuació pass@n és la puntuació mitjana del model en tots els problemes. k@n: El model fa intenta resoldre cada problema, però només intents d'entre ells són seleccionats per a la presentació. Si alguna aportació és correcta, el model guanya un punt. La puntuació k@n és la puntuació mitjana del model en tots els problemes. cons@n: El model està donat intents de resoldre cada problema. Si la resposta més comuna és correcta, el model guanya un punt. La puntuació cons@n és la puntuació mitjana del model en tots els problemes. Aquí "cons" significa "consens" o "votació per majoria".
La puntuació de pass@n es pot estimar amb més precisió fent intents i utilitzar l'estimador no esbiaixat , on és el nombre d'intents correctes.
Per a tasques menys ben formulades, on la sortida pot ser qualsevol frase, hi ha les puntuacions següents que s'utilitzen habitualment: BLEU ROUGE, METEOR, NIST, taxa d'error de paraules, LEPOR, CIDEr, SPICE, etc.
Problemes error: Algunes respostes de referència poden ser incorrectes. ambigüitat: Algunes preguntes de referència poden estar formulades de manera ambigua. subjectiu: Algunes preguntes de referència poden no tenir una resposta objectiva. Aquest problema generalment impedeix els punts de referència de l'escriptura creativa. De la mateixa manera, això impedeix que es facin proves de benchmarking en llenguatge natural, tot i que és possible fer proves de benchmarking en un llenguatge formal. oberta: algunes preguntes de referència poden no tenir una única resposta de mida fixa. Aquest problema generalment impedeix que els punts de referència de programació utilitzin tasques més naturals com ara "escriure un programa per a X", i en canvi utilitzen tasques com ara "escriure una funció que implementi l'especificació X". Acord entre anotadors: Algunes preguntes de referència poden no ser completament objectives, de manera que fins i tot la gent no estaria 100% d'acord sobre quina hauria de ser la resposta. Això és comú en tasques de processament del llenguatge natural, com ara l'anotació sintàctica. drecera: Algunes preguntes de referència es poden resoldre fàcilment amb una drecera "no intencionada". Per exemple, en el punt de referència SNLI, tenir una paraula negativa com ara "no" a la segona frase és un senyal fort per a la categoria de "Contradicció", independentment del que diguin realment les frases. contaminació/fuita: Algunes preguntes de referència poden tenir respostes ja presents al conjunt d'entrenament. També anomenat "entrenament al conjunt de proves". Alguns punts de referència (com ara Big-Bench) poden utilitzar una "cadena canària", de manera que els documents que contenen la cadena canària es poden eliminar voluntàriament del conjunt d'entrenament. saturació: a mesura que passa el temps, molts models assoleixen el nivell de rendiment més alt possible, i per tant el punt de referència ja no pot diferenciar aquests models. Per exemple, la COLA s'havia saturat, cosa que va fer necessari la SuperCLOU. Llei de Goodhart: si es dissenyen o seleccionen nous models per obtenir puntuacions altes en un punt de referència, el punt de referència pot deixar de ser un bon indicador de la qualitat del model. selecció selectiva: les publicacions de nous models poden només assenyalar puntuacions de referència en què el nou model ha tingut un bon rendiment, evitant puntuacions de referència en què ha tingut un mal rendiment.
Llista de comparatives Modelització general del llenguatge Essencialment, qualsevol conjunt de dades es pot utilitzar com a punt de referència per a la modelització estadística del llenguatge, amb la perplexitat (o gairebé equivalentment, la log-verosimilitud negativa i els bits per caràcter, com en la prova original de Shannon de l'entropia de la llengua anglesa) com a puntuació de referència. Per exemple, l'anunci original de GPT-2 incloïa els del model a WikiText-2, enwik8, text8 i WikiText-103 (tots són conjunts de dades d'idiomes estàndard fets a partir de la Viquipèdia en anglès).
No obstant això, hi havia conjunts de dades més utilitzats o dissenyats específicament per utilitzar-los com a punt de referència.
Punt de referència d'un milió de paraules: la pèrdua de probabilitat logarítmica negativa en un conjunt de dades d'un milió de paraules. Penn Treebank: L'error o la pèrdua de probabilitat logarítmica negativa per a les etiquetes de categories gramaticals en un conjunt de dades de text. Paloma (Anàlisi de Perplexitat per a l'Avaluació de Models de Llenguatge): Una col·lecció de textos en anglès i codi, dividits en 546 dominis. S'utilitza per mesurar la perplexitat d'un model en dominis específics.
Comprensió general de la llengua Vegeu per a una revisió de més de 100 punts de referència d'aquest tipus.
WSC (repte de l'esquema de Winograd): 273 frases amb pronoms ambigus. La tasca és determinar a què es refereix el pronom.