Компью́терная лексикогра́фия — прикладная научная дисциплина в языкознании, которая изучает методы использования компьютерной техники для составления словарей. Это временная дисциплина периода перехода от ручной и рукописной лексикографической практики к новым безбумажным информационным технологиям.
Компьютерная лексикография представлена совокупностью методов и программных средств обработки текстовой информации для создания словарейТузлукова В. И. — Типология педагогических лексикографических источников в международной педагогической лексикографии — Сборник трудов Второй Международной научно-практической конференции — с.45 Цит. по: Кашеварова И. С. — Электронный словарь как новый этап в развитии лексикографии — Молодой ученый — 2010. В рамках компьютерной лексикографии разрабатываются компьютерные технологии составления и эксплуатации словарей. Специальные программы — базы данных, компьютерные картотеки, программы обработки текста — позволяют в автоматическом режиме формировать словарные статьи, хранить словарную информацию и обрабатывать её.
Множество различных компьютерных лексикографических программ разделяются на две большие группы: программы поддержки лексикографических работ и электронные словари различных типов, включающие лексикографические базы данных.
История компьютерной лексикографии
Термин «Компьютерная лексикография» был придуман для обозначения области изучения машиночитаемых (электронных) словарейAmsler, R.A. Computational lexicology: A research program. In American Federated Information Processing Societies Conference Proceedings.— National Computer Conference. — 1982 Цит. по: Litkowski Computational lexicons and dictionaries// — 2004. и появился в середине 1960-х годов. Этой дисциплине уделяли мало внимания вплоть до начала 1990-х годов. Термин «машиночитаемый словарь» означает, что данные из словаря (хранящиеся в электронном виде) могут быть обработаны и исследованы с помощью современной вычислительной техники.
Новаторские работы ЭвенсаEvens, M., & Smith, R. A lexicon for a computer question-answering system.— American Journal of Computational Linguistics.— 1978 — Mf.81 Цит. по: Litkowski Computational lexicons and dictionaries// — 2005. и АмслераAmsler, R. A. The structure of the Merriam-Webster pocket dictionary [Diss]— Austin: University of Texas.— 1980 Цит. по: Litkowski Computational lexicons and dictionaries// — 2005. (1980) послужили толчком для расширения исследований электронных словарей, например, была проведена практическая работа с использованием Седьмого Энциклопедического словаря ВебстераGove, P. (Ed.). Webster’s Seventh New Collegiate Dictionary — G & C. Merriam Co.— 1972 Цит. по: Litkowski Computational lexicons and dictionaries// — 2005.. Стимулом для этих исследований послужило также широкое использование Longman Dictionary of Contemporary EnglishProctor, P. (Ed.). Longman Dictionary of Contemporary English — Harlow, Essex — England: Longman Group. — 1978 Цит. по: Litkowski Computational lexicons and dictionaries// — 2005. в 1980-х, этот словарь по-прежнему является одним из лучших электронных словарей.
Первоначально электронные словари имели такую же форму записи, как обычные словари, и исследователям приходилось тратить много времени для интерпретации такой формы записи (например, чтобы определить, к какой части речи относится определенное слово). С развитием технологий издатели решили отделить базу данных электронного словаря от того, как он выглядит при печати. Сегодня существуют более удобные формы записи, например расширяемый язык разметки XML. Используя XML, исследователи получают быстрый доступ к информации, хранящейся в электронном словаре.
Основные понятия компьютерной лексикографии Автоматический словарь — это словарь в специальном машинном формате, предназначенный для использования на ЭВМ пользователем или компьютерной программой обработки текста. Иными словами, различают автоматические словари пользователя-человека и автоматические словари для программ обработки текста. Автоматические словари, предназначенные для человека, по интерфейсу и структуре словарной статьи существенно отличаются от автоматических словарей, включённых в системы машинного перевода, системы автоматического реферирования, информационного поиска и т. д. Гипертекст — это множество текстов со связывающими их отношениями (системой переходов). Гипертекстовые технологии позволяют легко сочетать различные виды информации — обычный текст, рисунок, график, таблицу, схему, звук и движущееся изображение. Как традиционный текст, так и гипертекст — феномены, порожденные новыми технологиями. В первом случае технология позволила легко тиражировать и распространять знания самых различных типов, а во втором — компьютерные технологии дали возможность изменить сам внешний вид текста и его структуру. Разнородность гипертекста — это первое технологическое свойство гипертекста, технологическое в том смысле, что оно непосредственно следует из используемой компьютерной технологии. Второе технологическое свойство гипертекста — его нелинейность. Гипертекст не имеет стандартной, обычной последовательности чтения. Прочие свойства гипертекста в той или иной степени являются следствиями из этих двух технологических свойств. Практическая ценность гипертекста в компьютерной лексикографии состоит в том, что он описывает тип интерактивной среды с возможностями переходов по ссылкам. Нелинейный характер гипертекста дает возможность формирования информации в виде разветвлённой структуры, что позволяет в значительной степени расширить рамки словарной статьи, то есть он описывает тип интерактивной среды с возможностями перехода по ссылкам. Слова, фразы или рисунки, которые являются ссылками на тот или иной текст или рисунок, позволяют пользователю выбрать необходимую информацию и просмотреть связанные с ней сведения и материалы. Средства навигации по словарю — ссылки, внедрённые в различные элементы электронной среды — часть гипертекстового устройства электронного словаря, представляющего собой соединение смысловой структуры, структуры внутренних связей некоего содержания и технической среды и технических средств, дающих человеку возможность осваивать структуру смысловых связей, а также осуществлять переходы между взаимосвязанными элементамиПотапова Р. К. Новые информационные технологии и лингвистика. — М.:МГЛУ, 2002. — 575 с. Цит. по: Табанакова В. Д., Ковязина М. А. Новая модель двуязычного экологического словаря-тезауруса. — Урал. гос. пед. ун-т, 2007. — P. 29 — 32.
Электронные словари Электронный словарь — это любой упорядоченный, относительно конечный массив лингвистической информации, представленный в виде списка, таблицы или перечня, удобного для размещения в памяти ЭВМ и снабженного программами автоматической обработки и пополненияНелюбин Л. Л. Перевод и прикладная лингвистика. — М.: Высшая школа, 1983. — 208 с. Цит. по: Сивакова Н. А. Лексикографическое описание английских и русских фитонимов в электронном глоссарии // Тюмень. — 2004. — P. 11..
Термин электронный словарь может быть использован для обозначения любого справочного материала, хранящегося в электронном виде и предоставляющего информацию о написании, значении или использовании слов. Таким образом, система проверки правописания в текстовом редакторе, устройство, которое сканирует и переводит напечатанные слова и электронная версия бумажного словаря — всё это электронные словари, имеющие сходные системы хранения и поиска.
В работе (Неси, 2000) выделяют несколько категорий электронных словарей для изучения языков: интернет-словари, глоссарии для учебных онлайн-курсов, словари на компакт-дисках и карманные электронные словари. Неси перечисляет несколько наиболее известных словарей на CD: Collins Cobuild Student’s Dictionary Cambridge International Dictionaries Оксфордский словарь английского языка
Онлайн-словари
Эпоха Интернета сделала онлайн-словари доступными непосредственно с рабочего стола компьютера, а затем и со смартфона. Скинер в 2013 году отметил: «В список слов, которые чаще всего ищут в онлайн-версии словаря Merriam-Webster, сейчас входят слова „holistic“, „pragmatic“, „caveat“, „esoteric“ и „bourgeois“. Исторически целью лексикографии было разъяснение неизвестных слов читателям. И современные словари успешно с этим справляются.»
Существует большое количество веб-сайтов, работающих в качестве онлайн-словарей, обычно специализирующихся в каком-либо направлении. Некоторые из них содержат только те данные (часто включая неологизмы), которые были добавлены самими пользователями. Вот несколько наиболее известных примеров:
Взаимосвязь с задачами автоматической обработки текста От традиционных методов обработки естественного языка компьютерная лингвистика отличается тем, что в первом случае внимание сосредоточено на моделировании всего того, что изучает лингвистика в целом, тогда как во втором основное внимание обращается на расчленение процесса понимания языка и на теоретическую лингвистическую корректность и адекватность предложенных моделей.
Компьютерная лингвистика тесно связана с центральной проблемой искусственного интеллекта — электронным представлением знаний. Основная задача компьютерной лингвистики — построение логико-лингвистических моделей и соответствующих им алгоритмов и программ.
Разрешение лексической многозначности Решение задачи разрешение лексической многозначности (WSD) и развитие лексикографии, приносят пользу друг другу: WSD обеспечивает эмпирическую группировку смыслов и статистически значимые показатели контекста для новых или существующих значений. Кроме того, WSD позволяет создать семантическую сеть по данным машиночитаемых словарей. С другой стороны, лексикография предоставляет больший и лучший набор смыслов и собрание аннотаций к значениям слов, что может принести пользу WSD.
Извлечение информации
Извлечение информации ()Grishman, R. Information Extraction. In R. Mitkov (Ed.) — The Oxford handbook of computational linguistics,Oxford University Press. 2003. Цит. по: Litkowski Computational lexicons and dictionaries// — 2005. — это задача автоматического извлечения структурированных данных (автоматическая идентификация выбранных типов объектов, отношений, или событий) из неструктурированных или слабо структурированных машиночитаемых документов. Проблема IE была обозначена на Message Understanding Conferences, где основной задачей было извлечь из текста определённые данные и поместить в заданные слоты шаблонов. Заполнение шаблонов не требует полного разбора текста, этого можно достигнуть путём сопоставления с неким образцом(например, с помощью регулярных выражений). Слоты шаблонов заполняются серией слов, обычно классифицированных. Например, имена людей, названия организаций, химические элементы и т. д.
Для извлечения имён людей, например, могут применяться шаблоны, использующие электронные словари, содержащие списки имён и сокращений, предшествующих именам людей. Часто списки могут быть очень большими, например такие, как список названий компаний или записи географического справочника. Названия можно определить достаточно надежно, не выходя за рамки простых списков, так как в тексте они появляются в качестве просто существительных. Распознать и охарактеризовать событие в тексте тоже можно с помощью такой модели, но необходимо использование дополнительный лексической информации.
События обычно описываются глаголами, и это описание может быть выражено в виде различных синтаксических шаблонов. Несмотря на то, что эти модели могут быть выражены с некоторой степенью достоверности (например, компания наняла человека или человек был нанят компанией) в качестве основы для сравнения строк, этот подход не позволяет достичь желаемого уровня общности. Распознание события влечет за собой частичный разбор предложения.