En el processament del llenguatge natural, una incrustació de frases és una representació d'una frase com un vector de nombres que codifica informació semàntica significativa.
Les incrustacions d'última generació es basen en la representació apresa de la capa oculta de models de transformadors de frases dedicats. BERT va ser pioner en un enfocament que implicava l'ús d'un testimoni [CLS] dedicat al principi de cada frase introduïda al model; el vector d'estat ocult final d'aquest testimoni codifica informació sobre la frase i es pot ajustar per utilitzar-lo en tasques de classificació de frases. A la pràctica, però, la incrustació de frases de BERT amb el testimoni [CLS] aconsegueix un rendiment baix, sovint pitjor que simplement fer la mitjana de les incrustacions de paraules no contextuals. Més tard, SBERT va aconseguir un rendiment superior d'incorporació de frases ajustant les incrustacions de testimonis [CLS] de BERT mitjançant l'ús d'una arquitectura de xarxa neuronal siamesa al conjunt de dades SNLI.
Altres enfocaments es basen lliurement en la idea de la semàntica distributiva aplicada a les frases. Skip-Thought entrena una estructura de codificador-descodificador per a la tasca de prediccions de frases veïnes; S'ha demostrat que això aconsegueix un pitjor rendiment que enfocaments com InferSent o SBERT.
Una adreça alternativa és agregar incrustacions de paraules, com les que retorna Word2vec, en incrustacions de frases. L'enfocament més senzill és calcular simplement la mitjana dels vectors de paraules, conegut com a bossa contínua de paraules (CBOW). Tanmateix, també s'han proposat solucions més elaborades basades en la quantificació de vectors de paraules. Un d'aquests enfocaments és el vector d'incrustacions de paraules agregades localment (VLAWE), que va demostrar millores de rendiment en les tasques de classificació de text aigües avall.
Aplicacions En els darrers anys, la incorporació de frases ha experimentat un creixent nivell d'interès a causa de les seves aplicacions en bases de coneixement consultables en llenguatge natural mitjançant l'ús de la indexació vectorial per a la cerca semàntica. LangChain, per exemple, utilitza transformadors de frases per a la indexació de documents. En particular, es genera una indexació generant incrustacions per a trossos de documents i emmagatzemant (part de document, incrustació) tuples. A continuació, donada una consulta en llenguatge natural, es pot generar la incrustació de la consulta. A continuació, s'utilitza un algorisme de cerca de semblança superior k entre la incrustació de consultes i les incrustacions de fragments de document per recuperar els fragments de document més rellevants com a informació de context per a les tasques de resposta de preguntes. Aquest enfocament també es coneix formalment com a generació augmentada per recuperació
Tot i que no són tan predominants com BERTScore, les incrustacions de frases s'utilitzen habitualment per a l'avaluació de la semblança de frases, que veuen un ús comú per a la tasca d'optimitzar els paràmetres de generació d'un model de llenguatge gran es realitza sovint mitjançant la comparació de frases candidates amb frases de referència. Mitjançant l'ús de la semblança del cosinus de les incrustacions de frases de les frases candidates i de referència com a funció d'avaluació, es pot utilitzar un algorisme de cerca de quadrícula per automatitzar l'optimització d'hiperparàmetres.
Avaluació Una manera de provar les codificacions de frases és aplicar-les al corpus de Sentences Involving Compositional Knowledge (SICK) tant per a la implicació (SICK-E) com per a la relació (SICK-R).
Els millors resultats s'obtenen mitjançant una xarxa BiLSTM entrenada en el Corpus Stanford Natural Language Inference (SNLI). El coeficient de correlació de Pearson per a SICK-R és 0,885 i el resultat per a SICK-E és 86,3. Una lleugera millora respecte a les puntuacions anteriors es presenta a: SICK-R: 0,888 i SICK-E: 87,8 utilitzant una concatenació de la unitat recurrent Gated bidireccional.
Referències
Categoria:Processament de llenguatge natural