У теорії оцінювання та теорії рішень ба́єсова оці́нка або ба́єсова дія є оцінкою або , що мінімізує апостеріорне математичне сподівання функції втрат (тобто, апостеріо́рні очі́кувані втра́ти). Рівносильно, вона максимізує апостеріорне математичне сподівання функції корисності. Альтернативним способом формулювання оцінки в баєсовій статистиці є оцінка апостеріорного максимуму.
Визначення
Припустімо, нам відомо, що невідомий параметр θ має апріорний розподіл . Нехай буде оцінкою θ (на підставі первних вимірювань x), та нехай буде функцією втрат, наприклад, квадратичною похибкою. Ба́єсів ри́зик визначають як , де береться математичне сподівання від розподілу ймовірності : це визначає функцію ризику як функцію від . Про оцінку кажуть, що вона є баєсовою оцінкою, якщо вона мінімізує баєсів ризик серед усіх оцінок. Рівноцінно, оцінка, що мінімізує апостеріорне математичне сподівання втрат для кожного x також мінімізує й баєсів ризик, а отже є баєсовою оцінкою.
Якщо апріорне є некоректним, то оцінка, що мінімізує апостеріорне математичне сподівання втрат для кожного x, називається узага́льненою ба́єсовою оці́нкою.
Приклади
Оцінка мінімальної середньоквадратичної похибки
Найпоширенішою функцією ризику, що застосовується для баєсової оцінки, є середньоквадратична похибка (СКП, ), що також називають квадратичним ризиком похибки. СКП визначається як
де математичне сподівання береться над спільним розподілом та .
Апостеріорне середнє
При використанні СКП як ризику баєсова оцінка невідомого параметру є просто середнім значенням апостеріорного розподілу,
Це відомо як оцінка мінімальної середньоквадратичної похибки (МСКП, ). Баєсів ризик у цьому випадку є апостеріорною дисперсією.
Баєсові оцінки для спряжених апріорних
Якщо немає неусувної підстави віддавати перевагу одному апріорному розподілові перед іншим, іноді для спрощення обирають спряжений апріорний розподіл. Спряжений апріорний розподіл визначається як апріорний розподіл, що належить до , для якого результатний апостеріорний розподіл також належить до цього ж сімейства. Це є важливою властивістю, оскільки баєсову оцінку, так само як і її статистичні властивості (дисперсію, довірчий інтервал тощо), може бути виведено з апостеріорного розподілу.
Спряжені апріорні є особливо зручними для послідовного оцінювання, коли апостеріорне поточного вимірювання використовується як апріорне в наступному вимірюванні. У послідовному оцінюванні, якщо не використовуються спряжені апріорні, апостеріорний розподіл типово стає складнішим із кожним доданим вимірюванням, і баєсову оцінку зазвичай неможливо обчислювати без удавання до чисельних методів.
Нижче наведено деякі приклади спряжених апріорних.
Якщо x|θ є нормальним, x|θ ~ N(θ,σ2) та апріорне є нормальним, θ ~ N(μ,τ2), тоді апостеріорне також є нормальним, а баєсова оцінка при СКП задається як
Якщо x1,…,xn є незалежними однаково розподіленими пуассонівськими випадковими змінними xi|θ ~ P(θ), та апріорне є гамма-розподіленим θ ~ G(a, b), тоді апостеріорне є також гамма-розподіленим, а баєсова оцінка при СКП задається як
Якщо x1,…,xn є незалежними однаково розподіленими неперервними рівномірними xi|θ~U(0,θ), а апріорне є паретівським θ~Pa(θ0,a), тоді апостеріорне також має розподіл Парето, а баєсова оцінка при СКП задається як
Альтернативні функції ризику
Функції ризику обираються в залежності від способу вимірювання відстані між оцінкою та невідомим параметром. Найпоширенішою функцією ризику у вжитку є СКП, головно завдяки її простоті. Проте іноді використовуються й альтернативні функції ризику. Далі наведено декілька прикладів таких альтернатив. Ми позначаємо функцію апостеріорного узагальненого розподілу через .
Апостеріорна медіана та інші квантилі
«Лінійна» функція втрат, з , що видає як баєсову оцінку :
Інша «лінійна» функція втрат, що призначає різну «вагу» для пере- та недооцінки. Вона видає квантиль апостеріорного розподілу, і є узагальненням попередньої функції втрат:
Апостеріорна мода
Наступна функція втрат є хитрішою: вона видає або апостеріорну моду, або близьку до неї точку, в залежності від кривизни та властивостей апостеріорного розподілу. Малі значення параметру рекомендуються для того, щоби використовувати цю моду як наближення ():
Може бути задумано й інші функції втрат, незважаючи на те, що середньоквадратична похибка є найширше вживаною й перевіреною.
Узагальнені баєсові оцінки
Апріорний розподіл досі вважався правильним розподілом ймовірності, в тому сенсі, що
Проте іноді це може бути обмежувальною вимогою. Наприклад, не існує розподілу (що покриває множину R усіх дійсних чисел), для якого будь-яке дійсне число є однаково ймовірним. Ще, у певному сенсі, такий «розподіл» виглядає як природний вибір неінформативного апріорного, тобто такий апріорний розподіл, що не віддає переваги жодному конкретному значенню невідомого параметра. Все ще можна визначити функцію , але вона вже не буде коректним апріорним розподілом ймовірності, оскільки вона має нескінченну масу,
Такі міри , що не є розподілами ймовірності, називаються некоректними апріорними.
Використання некоректного апріорного означає, що баєсів ризик є невизначеним (оскільки апріорне не є розподілом ймовірності, й ми не можемо взяти його математичне сподівання). Як наслідок, вже немає сенсу говорити про баєсову оцінку, що мінімізує баєсів ризик. Тим не менш, у багатьох випадках можна визначити апостеріорний розподіл
Це є визначенням, але не застосуванням теореми Баєса, оскільки теорему Баєса можна застосовувати лише якщо всі розподіли є коректними. Проте для результатного «апостеріорного» не є незвичним бути чинним розподілом ймовірності. В такому випадку апостеріорні очікувані втрати
є добре визначеними та скінченними. Нагадаймо, що для коректного апріорного баєсова оцінка мінімізує апостеріорні очікувані втрати. Коли апріорне є некоректним, оцінка, що мінімізує апостеріорні очікувані втрати, називається узага́льненою ба́єсовою оці́нкою.
Приклад
Типовим прикладом є оцінювання коефіцієнту зсуву з функцією втрат типу . Тут є коефіцієнтом зсуву, тобто .
В такому випадку є звичним застосовувати некоректне апріорне , особливо якщо ніякої іншої суб'єктивнішої інформації немає в наявності. Це дає
таким чином, апостеріорні очікувані втрати дорівнюють
Узагальнена баєсова оцінка є значенням , що мінімізує цей вираз для заданого . Це є еквівалентним мінімізації для заданого (1)
В цьому випадку може бути показано, що узагальнений баєсів оцінювач може мати вигляд , для деякої сталої . Щоби побачити це, нехай буде значенням, що мінімізує (1), коли . Тоді, маючи інше значення , ми мусимо мінімізувати (2) Це є ідентичним до (1), крім того, що було замінено на . Отже, вираз, що мінімізується, задається як , тому оптимальна оцінка має вигляд
Емпіричні баєсові оцінки
Баєсова оцінка, виведена , називається емпіри́чною ба́єсовою оці́нкою. Емпіричний баєсів метод дозволяє при побудові баєсової оцінки використовувати додаткові емпіричні дані зі спостережень пов'язаних параметрів. Це робиться із припущення, що оцінювані параметри отримуються зі спільного апріорного. Наприклад, якщо виконуються незалежні спостереження різних параметрів, то продуктивність оцінки певного параметру іноді може бути покращено за рахунок використання даних з інших спостережень.
Існують та підходи до емпіричної баєсової оцінки. Параметричному емпіричному Баєсові зазвичай віддається перевага, оскільки він є застосовнішим та точнішим на малих об'ємах даних.
Приклад
Далі наведено простий приклад параметричної емпіричної баєсової оцінки. При заданих спостереженнях , що мають умовний розподіл , потрібно оцінити на базі . Припустімо, що мають спільне апріорне , що залежить від невідомих параметрів. Наприклад, нехай є нормальним розподілом із невідомим середнім значенням та дисперсією Тоді ми можемо використовувати минулі спостереження для визначення середнього значення та дисперсії наступним чином.
Спочатку ми оцінюємо середнє значення та дисперсію відособленого розподілу за допомогою підходу максимальної правдоподібності:
Далі ми використовуємо відношення
де та є моментами умовного розподілу , що вважаються відомими. Зокрема, припустімо, що та ; тоді ми отримуємо
Нарешті, ми отримуємо оцінені моменти апріорного,
Наприклад, якщо , і якщо ми розглядаємо нормальне апріорне (що є спряженим апріорним у даному випадку), ми доходимо висновку, що , з чого може бути обчислено баєсову оцінку на базі .
Властивості
Прийнятність
Правила Баєса, що мають скінченний баєсів ризик, зазвичай є . Далі наведено деякі конкретні приклади теорем прийнятності. Якщо баєсове правило є унікальним, то воно є прийнятним. Наприклад, як зазначено вище, за середньоквадратичної похибки (СКП) правило Баєса є унікальним, а відтак і прийнятним. Якщо θ належить до дискретної множини, то всі правила Баєса є прийнятними. Якщо θ належить до неперервної (не дискретної) множини, і якщо функція ризику R(θ,δ) є неперервною за θ для будь-якого δ, то всі правила Баєса є прийнятними.
На противагу до цього, узагальнені правила Баєса часто мають невизначений баєсів ризик у випадку некоректних апріорних. Ці правила часто є неприйнятними, і перевірка їхньої прийнятності може бути складною. Наприклад, узагальнена баєсова оцінка коефіцієнту зсуву θ на базі ґаусових вибірок (описаних у розділі Узагальнені баєсові оцінки вище) є неприйнятною для ; це є відомим як .
Асимптотична ефективність
Нехай θ буде невідомою випадковою змінною, та припустімо, що є незалежними однаково розподіленими пробами з густиною . Нехай буде послідовністю баєсових оцінок θ на базі збільшуваного числа вимірювань. Нас цікавить аналіз асимптотичної продуктивності цієї послідовності оцінок, тобто продуктивність для великих n.
Для цього прийнято вважати θ детермінованим параметром, чиїм справжнім значенням є . За особливих умов, для великих вибірок (великих значень n), апостеріорна густина θ є приблизно нормальною. Іншими словами, для великих n вплив апріорної ймовірності на апостеріорну є незначним. Більше того, якщо δ є баєсовою оцінкою за ризику СКП, то вона є асимптотично незміщеною та збігається за розподілом до нормального розподілу:
де I(θ0) є інформацією за Фішером θ0. Звідси випливає, що баєсова оцінка δn за СКП є .
Іншою оцінкою, що є асимптотично нормальною та ефективною, є оцінка максимальної правдоподібності (ОМП, ). Відношення між максимальною правдоподібністю та баєсовими оцінками можна показати на наступному простому прикладі.
Розгляньмо оцінку θ на базі біноміальної вибірки x~b(θ,n), де θ позначає ймовірність успіху. За припущення, що θ розподілене згідно спряженого апріорного, що в даному випадку є бета-розподілом B(a,b), відомо, що апріорним розподілом є B(a+x, b+n-x). Отже, баєсовою оцінкою за СКП є
ОМП у даному випадку є x/n, і тому ми отримуємо
Крайнє рівняння означає, що для n → ∞ баєсова оцінка (в описаній задачі) є близькою до ОМП.
З іншого боку, коли n є малим, апріорна інформація залишається доречною для задачі ухвалення рішення, і впливає на оцінку. Щоби побачити відносну вагу апріорної інформації, припустімо, що a=b; в такому випадку кожне вимірювання привносить 1 біт інформації; формула вище показує, що апостеріорна інформація має таку саму вагу, як a+b бітів нової інформації. На практиці про дрібні деталі апріорного розподілу часто відомо дуже мало; зокрема, нема резону припускати, що він збігається з B(a,b) точно. В такому разі однією з можливих інтерпретацій цього обчислення є: «існує не патологічний апріорний розподіл із середнім значенням 0.5 та стандартним відхиленням d, що дає вагу апріорної інформації, рівну 1/(4d2)-1 бітам нової інформації».