Вбудовування речень — це збірна назва для набору методів обробки природної мови (NLP), де речення зіставляються з векторами дійсних чисел .Paper Summary: Evaluation of sentence embeddings in downstream and linguistic probing tasksThe Current Best of Universal Word Embeddings and Sentence EmbeddingsSanjeev Arora, Yingyu Liang, and Tengyu Ma. «A simple but tough-to-beat baseline for sentence embeddings.», 2016; openreview: SyK00v5xx.

Застосування Бібліотеки програмного забезпечення глибокого навчання PyTorch і TensorFlow використовують вбудовування речень.

Популярні вбудовування базуються на вихідних даних прихованого шару моделей трансформаторів, таких як BERT. Альтернативним напрямком є об'єднання вбудованих слів, наприклад, тих, які повертаються Word2vec, у вбудовані речення. Найпрямолінійніший підхід — просто обчислити середнє значення векторів слів, відомих як безперервний пакет слів (CBOW). Однак також були запропоновані більш складні рішення, засновані на векторному квантуванні слів. Одним із таких підходів є вектор локально агрегованих вбудованих слів (VLAWE), який продемонстрував покращення продуктивності в завданнях класифікації подальшого тексту.

Оцінка Для тестування кодувань речень застосувують їх до корпусу речень, що містять композиційні знання (SICK)Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. «A SICK cure for the evaluation of compositional distributional semantic models.» In LREC, pp. 216—223. 2014 . як для втягування (SICK-E), так і для пов'язаності (SICK-R).

Найкращі результати отримуються завдяки використанню мережі BiLSTM, натренованої на Стенфордському корпусі висновків з природної мови (SNLI) . Коефіцієнт кореляції Пірсона для SICK-R дорівнює 0,885, а результат для SICK-E — 86,3. Незначне покращення у порівнянні з попередніми показниками презентоване в: SICK-R: 0,888 і SICK-E: 87,8 з використанням конкатенації двонаправленого рекурентного блоку Gated .

Див. також

Вбудовування слів

Посилання

Вбудовані речення InferSent і навчальний код Універсальний кодувальник речень Вивчення розподілених представлень речень загального призначення за допомогою широкомасштабного багатозадачного навчання

Примітки