Слова поза словником (, скор. СПС) — у комп'ютерній лінгвістиці та обробці природної мови (ОПМ) — це лінгвістичні одиниці (слова, токени), які з'являються у вхідному тексті під час тестування або використання моделі, але були відсутні у навчальному наборі даних або словнику системи.
Проблема OOV є одним із ключових викликів для систем машинного перекладу, розпізнавання мовлення та чат-ботів, оскільки традиційні моделі не вміють обробляти слова, яких вони «не бачили» раніше.
Причини виникнення Поява слів поза словником є неминучою для будь-якої відкритої мовної системи. Основними причинами є:
Морфологічне багатство мови: У флективних мовах (наприклад, українській) одне слово може мати десятки форм (ходити, ходжу, ходив, ходитимуть). Якщо у словнику є лише початкова форма (лема), то змінена форма стає СПС. Неологізми та сленг: Мова постійно змінюється, з'являються нові слова (наприклад, «донатити», «вайб»), які ще не потрапили до корпусів текстів. Іменовані сутності: Власні назви, прізвища, географічні назви, назви брендів, які є рідкісними або унікальними. Помилки друку: Слова з одруківками (наприклад, «првііт» замість «привіт») технічно є новими, невідомими системі словами. Предметна область: Модель, навчена на художній літературі, буде сприймати специфічні медичні або юридичні терміни як СПС.
Вплив на роботу алгоритмів Коли алгоритм зустрічає слово, якого немає в його словнику, він змушений застосувати стратегію обробки виключень. У найпростіших випадках (наприклад, у статистичних моделях минулого покоління) це призводило до:
Втрати інформації (слово просто ігнорувалося). Спотворення змісту (система вгадувала слово навмання). Зниження точності роботи метрик якості.
Методи вирішення
Токен У класичних підходах NLP усі невідомі слова замінюються на спеціальний зарезервований токен — (від ).
Приклад: Речення «Студент задонатив на ЗСУ» може перетворитися на «Студент на », якщо система не знає слів «задонатив» та абревіатури «ЗСУ».
Цей метод дозволяє програмі не «зламатися», але призводить до втрати змісту.
Підслівна токенізація Сучасні нейромережеві моделі (наприклад, BERT, GPT) використовують підхід, при якому слова розбиваються на менші значущі частини — підслова. Найпопулярнішими алгоритмами є BPE (Byte Pair Encoding) та WordPiece. Якщо слово є OOV, модель намагається скласти його з відомих частин.
Приклад: Невідоме слово «беззаперечний» може бути розбите на відомі частинки: «без», «запереч», «ний». Це дозволяє моделі зрозуміти контекст і граматичну роль слова, навіть якщо вона бачить його вперше.
Символьні моделі Деякі системи працюють не зі словами, а безпосередньо з послідовністю символів. Для таких моделей поняття «слова поза словником» фактично зникає, оскільки вони здатні згенерувати або прочитати будь-яку комбінацію літер.
Використання зовнішніх ресурсів Система може звертатися до зовнішніх словників, баз знань або використовувати транслітерацію (для власних назв), щоб обробити невідоме слово.
Див. також
Токенізація Лематизація Обробка природної мови Корпусна лінгвістика
Примітки