Google Ngram Viewer або Google Books Ngram Viewer — це онлайн-пошукова система, яка складає графіки частот будь-якого набору пошукових рядків, використовуючи річну кількість n-грамів, знайдених у друкованих джерелах, опублікованих між 1500 і 2019 роками у текстових корпусах Google англійською, китайською (спрощеною), французькою, німецькою, івритом, італійською, російською або іспанською мовами. Ще існують деякі спеціалізовані англійські корпуси американської англійської, британської англійської та англійської художньої літератури.
Програма може шукати слово чи фразу, включаючи орфографічні помилки чи тарабарщину. N-грами зіставляються з текстом у межах вибраного корпуса, вибірково використовуючи правопис з урахуванням регістру (який порівнює точне використання великих букв), і, якщо вони знайдені в 40 або більше книгах — відображаються як графік. Google Ngram Viewer підтримує пошук за частинами мови та символами підстановки. Він регулярно використовується в дослідженнях.
Історія Програма була розроблена Джоном Орвантом і Віллом Брокманом та випущена в середині грудня 2010 року. Джерелом натхнення для неї послугував прототип під назвою Bookworm, створений Жаном-Батистом Мішелем та Ерезом Ейденом з Гарвардської Культурної Обсерваторії, Юанем Шенем з MIT і Стівеном Пінкером.
Ngram Viewer спочатку базувався на Google Books Ngram Corpus 2009 року видання. року програма підтримувала корпуси 2009, 2012 і 2019 років.
Експлуатація та обмеження Комами розділяються введені користувачем пошукові терміни, вказуючи на кожне окреме слово або фразу, які треба знайти. Ngram Viewer повертає побудовану лінійну діаграму.
Як пристосування для більшої кількості книг, виданих протягом кількох років, дані нормалізуються як відносний рівень за кількістю книг, опублікованих у кожному році.
Через обмеження розміру бази даних Ngram лише збіги, знайдені в мінімум 40 книжках, індексуються в ній.
Обмеження Набір даних піддавався критиці через його покладання на неточне OCR (Оптичне розпізнавання символів), надлишок наукової літератури та включення великої кількості неправильно датованих і категоризованих текстів. Через ці помилки, а також через неконтрольованість на предмет упередженості (наприклад, збільшення кількості наукової літератури, що спричиняє зниження популярності появи інших термінів), використовувати цей корпус для вивчення мови або перевірки теорій є ризикованим. Оскільки датасет не містить метаданих, він може не відображати загальні лінгвістичні чи культурні зміни і може лише натякати на такий ефект.
Було запропоновано інструкції, які стосуються багатьох проблем, розглянутих вище, для проведення досліджень із використанням даних із Google Ngram.
Проблеми OCR Оптичне розпізнавання символів, або OCR, не завжди є надійним, і деякі символи можуть бути проскановані неправильно. Зокрема, системні помилки як плутання s і f у текстах до XIX століття (через використання довгого s, що був схожий на вигляд до f), можуть спричинити системне зміщення. Хоча Google Ngram Viewer стверджує, що результати є надійними, починаючи з 1800 року, погане оптичне розпізнавання символів і нестача даних означають, що частоти, наведені для таких мов, як китайська, можуть бути точними лише починаючи з 1970 року, а попередні частини корпусу взагалі не показують жодних результатів для всіх загальних термінів та даних за кілька років, що містять більше ніж 50 % шуму.Google n-grams and pre-modern Chinese. digitalsinology.org.When n-grams go bad. digitalsinology.org.
Див. також
Культуроміка Google Trends Лексичний аналіз
Список літератури
Бібліографія
Посилання