Логарифмічна ймовірність () в теорії ймовірностей та інформатиці, це просто логарифм імовірності. Його використання означає представлення ймовірності в логаритмічній шкалі , замість звичайного одиничного інтервалу .
Так як ймовірності незалежних подій перемножуються, а логарифми перетворюють множення на додавання, логарифмічні ймовірності незалежних подій додаються. Через це вони доволі зручні для обчислень, і мають інтуїтивне представлення в теорії інформації: від'ємне значення середньої логарифмічної ймовірності, є інформаційною ентропією події. Подібно, функція правдоподібності перетворюються в логарифмічний масштаб і логарифмічну правдоподібність можна інтерпретувати як міру до якої подія підтримує статистичну модель. Логарифм ймовірності часто застосовується в задачах обробки природньої мови.
Переваги Представлення ймовірності в цьому форматі має кілька практичних переваг:
Швидкість. Множення обчислювально дорожче ніж додавання, тому отримання ймовірності багатьох подій часто швидше, якщо вони представлені в логарифмічній формі. (Саме логарифмічне перетворення складне, але виконується лише раз) Точність. Використання логарифмів покращує числову стійкість, коли ймовірності дуже малі, через формат задання чисел в комп'ютері. Простота. Багато розподілів ймовірностей мають експоненційну форму. Якщо взяти логарифм цих розподілів, експоненційна функція пропадає. Наприклад, логарифм густини ймовірності нормального розподілу це замість .
Проблеми з представленням Функція логарифму не визначена для нуля, тому логарифмічні ймовірності не можуть задавати неможливі події.
Основні операції Позначимо логарифмічні ймовірності штрихом:
Добуток ймовірностей відповідає додаванню в логарифмічному просторі.
Додавання
Формула вище є точнішою за , особливо якщо скористатися асиметрією. Як краще використати більше (менш негативне) значення. Правильно обране також дає коректні значення, якщо один з аргументів - -INF, що відповідає нульовій ймовірності.
. Це значення невизначене, і дасть NaN. . Це правильне значення.
Використання тільки цієї формули даватиме невизначені результати якщо обидва аргументи дорівнюють . Цей випадок треба розглядати окремо і повертати .
Також, для обчислення краще використовувати спеціалізовану функцію log1phttps://numpy.org/doc/stable/reference/generated/numpy.log1p.html.
Див. також Власна інформація Логарифмічна правдоподібність
Зноски
Посилання Knight, Kevin. "A statistical MT tutorial workbook." Prepared for the 1999 JHU Summer Workshop. 1999.