У статистиці фу́нкція правдоподі́бності (, часто звана просто правдоподі́бністю, ) вимірює допасованість статистичної моделі до вибірки даних для заданих значень невідомих параметрів. Її утворюють зі спільного розподілу ймовірності цієї вибірки, але розглядають та використовують як функцію лише від цих параметрів, відтак розглядаючи випадкові змінні як зафіксовані в спостережуваних значеннях.

Функція правдоподібності описує гіперповерхню, чий пік, якщо він існує, представляє поєднання значень параметрів моделі, які максимізують імовірність витягування отриманої вибірки. Процедура отримання цих аргументів максимізації функції правдоподібності є відомою як оцінювання максимальною правдоподібністю, яке, заради обчислювальної зручності, зазвичай застосовують з використанням натурального логарифма правдоподібності, відомого як фу́нкція логарифмі́чної правдоподі́бності (). Крім того, форма та кривина поверхні правдоподібності несуть інформацію про стійкість цих оцінок, через що як частину статистичного аналізу часто здійснюють побудову графіку функції правдоподібності.

Варіант використання правдоподібності першим зробив Рональд Фішер, який мав переконання, що він є самодостатньою системою для статистичного моделювання та висновування. Згодом та очолили наукову школу, яка виступила за принцип правдоподібності, постулюючи, що вся доречна інформація для висновування міститься у функції правдоподібності. Але навіть і в частотницькій та баєсовій статистиці функція правдоподібності відіграє́ фундаментальну роль.

Означення

Функцію правдоподібності зазвичай означують по-різному для дискретних та неперервних розподілів імовірності. Загальне означення також є можливим, як обговорено нижче.

Дискретний розподіл імовірності

Нехай буде дискретною випадковою змінною з функцією маси ймовірності , залежною від параметра . Тоді функція

що розглядають як функцію від , є функцією правдоподібності для заданого випадкової змінної . Іноді ймовірність «значення випадкової змінної для значення параметра » записують як або . не слід плутати з : правдоподібність дорівнює ймовірності спостерігання певного результату , коли справжнім значенням параметра є , і відтак дорівнює густині ймовірності над результатом , а не над параметром .

Приклад

Розгляньмо просту статистичну модель підкидання монети: єдиний параметр , що виражає «справедливість» цієї монети. Цей параметр є ймовірністю того, що монета після підкидання впаде аверсом () догори. може набувати будь-якого значення в проміжку з 0.0 по 1.0. Для ідеально .

Уявімо підкидання справедливої монети двічі, й спостерігання наступних даних: два аверси за два підкидання (HH). Якщо виходити з припущення, що кожне наступне підкидання монети є н. о. р., то ймовірністю спостерігання HH є

Отже, за заданих даних спостережень HH, правдоподібністю того, що параметр моделі дорівнює 0.5, є 0.25. Математично це записують як

Це не те ж саме, що й сказати, що ймовірністю того, що , за заданого спостереження HH є 0.25. (Для цього ми можемо застосувати теорему Баєса, яка означає, що апостеріорна ймовірність є пропорційною до правдоподібності, помноженої на апріорну ймовірність.)

Припустімо, що ця монета не є справедливою, але натомість має . Тоді ймовірністю отримання двох аверсів є

Отже,

Загальніше, для кожного значення ми можемо обчислити відповідну правдоподібність. Результати таких обчислень показано на Рис. 1.

На Рис. 1. інтегралом правдоподібності над проміжком [0, 1] є 1/3. Це висвітлює важливий аспект правдоподібностей: правдоподібності не мають інтегруватися (чи підсумовуватися) до 1, на відміну від імовірностей.

Неперервний розподіл імовірності

Нехай буде випадковою змінною, що слідує абсолютно неперервному розподілові ймовірності з функцією густини , залежною від параметра . Тоді функція

що розглядають як функцію від , є функцією правдоподібності (параметра для заданого змінної ). Іноді функцію густини для «значення змінної для значення параметра » записують як . не слід плутати з : правдоподібність дорівнює густині ймовірності на певному результаті , коли справжнім значенням параметра є , і відтак вона дорівнює густині ймовірності над результатом , а не над параметром .

Загальний випадок

В функцію густини означують як похідну Радона — Нікодима розподілу ймовірності відносно спільної домінантної міри. Функція правдоподібності є цією густиною, інтерпретованою як функція від параметра (можливо, векторного), а не від можливих результатів. Це забезпечує функцію правдоподібності для будь-якої статистичної моделі з усіма розподілами, чи то дискретними, абсолютно неперервними, сумішшю, чи чимось ще. (Правдоподібності буде можливо порівнювати, наприклад, для оцінювання параметрів, лише якщо вони є похідними Радона — Нікодима по відношенню до однієї й тієї ж домінантної міри.)

Наведене вище обговорення правдоподібності з дискретними ймовірностями є окремим випадком цього із застосуванням лічильної міри, яка робить імовірність будь-якого одиничного результату рівною густині ймовірності для цього результату.

Якщо не задано жодної події (немає даних), то ймовірністю, і відтак правдоподібністю, є 1. Будь-яка нетривіальна подія матиме нижчу правдоподібність.

Функція правдоподібності параметризованої моделі

Із багатьох застосувань ми розглянемо тут одне, що має широку теоретичну та практичну важливість. Для заданого функцій густини ймовірності (або функцій маси ймовірності у випадку дискретних розподілів)

де є параметром, фу́нкцією правдоподі́бності () є

що записують як

де є спостережуваним результатом експерименту. Іншими словами, коли розглядають як функцію від за незмінного , вона є функцією густини ймовірності, а коли її розглядають як функцію від за незмінного , вона є функцією правдоподібності.

Це не є тим же, що й імовірність того, що ці параметри є правильними за заданої спостережуваної вибірки. Намагання інтерпретувати правдоподібність гіпотези за заданого спостережуваного свідчення як її імовірність є поширеною помилкою з потенційно катастрофічними наслідками. Як приклад цього див. помилку прокурора.

З геометричної точки зору, якщо ми розглядаємо як функцію від двох змінних, то сімейство розподілів імовірності можливо розглядати як сімейство кривих, паралельних до осі , тоді як сімейство функцій правдоподібності є перпендикулярними кривими, паралельними до осі .

Правдоподібності для неперервних розподілів

Застосування густини ймовірності у визначенні функції правдоподібності вище може бути пояснено наступним чином. Для заданих спостережень правдоподібність для проміжку , де є сталою, задають як . Зверніть увагу, що

,

оскільки є додатною та сталою. Оскільки

де є функцією густини ймовірності, з цього випливає, що

.

Перша фундаментальна теорема інтегрального числення та правило Лопіталя разом забезпечують, що

Тоді

Отже,

і відтак максимізування густини ймовірності в є рівносильним максимізуванню правдоподібності конкретного спостереження .

Правдоподібності для змішаних неперервно-дискретних розподілів

Наведене вище може бути в простий спосіб розширено так, щоби дозволяти розгляд розподілів, що містять як дискретні, так і неперервні складові. Припустімо, що такий розподіл складається з якоїсь кількості дискретних мас імовірності та з густини , де сума всіх , додана до інтегралу , завжди є одиницею. За припущення, що можливо розрізняти спостереження, що відповідає одній з цих дискретних мас імовірності, від того, що відповідає складовій густини, функцію правдоподібності для спостереження з неперервної складової можливо розглядати наведеним вище чином. Для спостереження з дискретної складової функцією правдоподібності для спостереження з цієї дискретної складової є просто

де є індексом маси дискретної ймовірності, що відповідає спостереженню , оскільки максимізування маси ймовірності (або ймовірності) в є рівносильним максимізуванню правдоподібності цього конкретного спостереження.

Той факт, що функцію правдоподібності може бути визначено в спосіб, що включає не порівнянні внески (густина та маса ймовірності), випливає зі способу її визначення, в якому функцію правдоподібності визначено з точністю до сталої пропорційності, де ця «стала» може змінюватися зі спостереженням , але не з параметром .

Умови регулярності

В контексті оцінювання параметрів зазвичай виходять з того, що функція правдоподібності задовольняє певні умови, відомі як умови регулярності (). З цих умов у багатьох доведеннях, що включають функції правдоподібності, і їх потрібно перевіряти в кожному конкретному застосуванні. Для методу максимальної правдоподібності надзвичайно важливим є існування глобального максимуму функції правдоподібності. Згідно другої теореми Веєрштраса, неперервна функція правдоподібності на компактному просторі параметрів є достатньою для існування оцінювача максимальною правдоподібністю. В той час як припущення про неперервність зазвичай виконується, припущення про компактність простору параметрів часто не виконується, оскільки межі справжніх значень параметрів є невідомими. В такому випадку ключову роль відіграє угнутість функції правдоподібності.

Конкретніше, якщо функція правдоподібності є двічі неперервно диференційовною на k-вимірному просторі параметрів , що вважають відкритою зв'язаною підмножиною , то унікальний максимум існує, якщо

є від'ємно визначеною для кожного , для якого градієнт зникає, та , тобто функція правдоподібності наближується до сталої на межі простору параметрів, яка може включати точки на нескінченності, якщо є необмеженим.

Макелайнен та ін. доводять цей результат, застосовуючи теорію Морса, неформально звертаючись до властивості гірського перевалу. Машкареньяш підтверджує їхнє доведення, застосовуючи .

В доведенні слушності та асимптотичної нормальності оцінювача максимальною правдоподібністю роблять додаткові припущення про густи́ни ймовірностей, які складають основу певної функції правдоподібності. Ці умови було вперше встановлено Чандою. Зокрема, для майже всіх , та для всіх

існують для всіх , щоби забезпечити існування розкладу Тейлора. По-друге, для майже всіх та для кожного мусить бути

де є такою, що . Ця обмеженість похідних є потрібною, щоби уможливити . І, нарешті, передбачається, що інформаційна матриця

є додатно визначеною, а є скінченною. Це забезпечує скінченність дисперсії внеску.

Наведені вище умови є достатніми, але не необхідними. Тобто, модель, що не задовольняє ці умови регулярності, може мати, а може й не мати оцінювача максимальною правдоподібністю згаданих вище властивостей. Крім того, у випадку не незалежно або не однаково розподілених спостережень може бути потрібно очікувати додаткових властивостей.

Співвідношення правдоподібностей та відносна правдоподібність

Співвідношення правдоподібностей

Співвідно́шення правдоподі́бностей () — це співвідношення будь-яких двох вказаних правдоподібностей, що часто записують як

Співвідношення правдоподібностей є центральним для правдоподібницької статистики: закон правдоподібності встановлює, що ступінь, до якого дані (що розглядають як свідчення) підтримують один параметр проти іншого, вимірюється співвідношенням правдоподібностей.

В частотницькому висновуванні співвідношення правдоподібності є основою для статистики критерію так званої перевірки співвідношенням правдоподібностей. Згідно , вона є найпотужнішою перевіркою для порівнювання двох простих гіпотез на заданому рівні значущості. Численні інші критерії можливо розглядати як перевірки співвідношенням правдоподібностей, або його наближеннями. Асимптотичний розподіл логарифмічного співвідношення правдоподібностей, що розглядають як статистику критерію, задано теоремою Уїлкса.

Співвідношення правдоподібностей також має центральне значення в баєсовім висновуванні, де воно є відомим як коефіцієнт Баєса, і застосовується в правилі Баєса. Викладене в термінах шансів (), правило Баєса полягає в тім, що апостеріорні шанси двох альтернатив, та , за умови події , є апріорними шансами, помноженими на співвідношення правдоподібностей. У вигляді рівняння: