У математичній статистиці інформа́ція за Фі́шером (, іноді звана просто інформа́цією, ) — це спосіб вимірювання кількості інформації, яку спостережувана випадкова величина X несе про невідомий параметр θ розподілу, який моделює X. Формально це дисперсія внеску, або математичне сподівання .
Роль інформації за Фішером в асимптотичній теорії оцінювання максимальною правдоподібністю підкреслив і дослідив статистик сер Рональд Фішер (після деяких початкових результатів Френсіса Ісідро Еджворта). Інформаційну матрицю за Фішером використовують для обчислення коваріаційних матриць, пов'язаних із оцінюванням максимальною правдоподібністю. Також її використовують у формулюванні статистичних критеріїв, як-от .
У баєсовій статистиці інформація за Фішером відіграє роль у виведенні неінформативних апріорних розподілів за . Вона також з'являється як великови́біркова коваріація апостеріорного розподілу, за умови, що апріорний розподіл є достатньо гладеньким (результат, відомий як , передбачена Лапласом для ). Той же результат використовують при наближуванні апостеріорного розподілу за допомогою , де інформація за Фішером виступає як коваріація допасовуваного гауссового розподілу.
Було показано, що статистичні системи наукового характеру (фізичні, біологічні тощо), чиї функції правдоподібності дотримуються , показують максимум інформації за Фішером. Рівень цього максимуму залежить від характеру обмежень системи.
Визначення Інформація за Фішером — це спосіб вимірювання кількості інформації, яку спостережувана випадкова величина несе про невідомий параметр , від якого залежить імовірність . Нехай — функція густини імовірності (або функція маси імовірності) для , обумовлена значенням . Вона описує ймовірність спостерігання заданого результату за умови відомого значення . Якщо дає гострий пік відносно змін , то вказати «правильне» значення з даних легко, або, іншими словами, дані містять багато інформації про параметр . Якщо ж пло́ска й розсіяна, тоді потрібно багато зразків , щоб оцінити справжнє «істинне» значення , яке могло би бути отримане з використанням усієї сукупності, з якої роблять вибірку. Це вказує на необхідність вивчення певного виду дисперсії відносно .
Формально частинну похідну за натурального логарифма функції правдоподібності називають внеском (). За певних умов регулярності, якщо — істинний параметр (тобто справді розподілено як ), можливо показати, що математичне сподівання (перший момент) внеску, обчислене за істинного значення параметра , дорівнює 0:
Інформацію за Фішером визначають як дисперсію внеску:
зауважте, що . Випадкова величина, що несе високу інформацію за Фішером, вказує на те, що абсолютне значення внеску часто високе. Інформація за Фішером не є функцією конкретного спостереження, оскільки випадкову величину X було усереднено.
Якщо двічі диференційовний за θ, і за певних умов регулярності, то інформацію за Фішером також можна записати як
оскільки
і
Отже, інформацію за Фішером можна розглядати як кривину (, графіка логарифмічної правдоподібності). Поруч із оцінкою максимальною правдоподібністю, низька інформація за Фішером вказує на те, що максимум виглядає «тупим», тобто максимум неглибокий і багато сусідніх значень мають схожу логарифмічну правдоподібність. І, навпаки, висока інформація за Фішером вказує на те, що максимум гострий.
Умови регулярності Умови регулярності такі:
Частинна похідна f(X; θ) за θ існує майже скрізь. (Вона може не існувати на нульовій множині, за умови, що ця множина не залежить від θ.) Інтеграл f(X; θ) можливо диференціювати під знаком інтеграла за θ. Носій f(X; θ) не залежить від θ.
Якщо θ — вектор, то умови регулярності мусять виконуватися для кожного компонента θ. Приклад густини, яка не задовольняє умови регулярності, знайти легко: густина рівномірної змінної Uniform(0, θ) не виконує умов 1 та 3. У цьому випадку, незважаючи на можливість обчислення інформації за Фішером за визначенням, вона не матиме властивостей, які зазвичай передбачаються.
У термінах правдоподібності Оскільки правдоподібність θ для заданої X завжди пропорційна ймовірності f(X; θ), їхні логарифми обов'язково відрізняються на сталу, яка не залежить від θ, а похідні цих логарифмів за θ обов'язково рівні. Таким чином, до визначення інформації за Фішером замість можливо підставити функцію логарифмічної правдоподібності l(θ; X).
Вибірки будь-якого розміру Значення X може подавати як один зразок, вибраний з одного розподілу, так і набір зразків, вибраних з набору розподілів. Якщо є n зразків, і відповідні n розподілів статистично незалежні, то інформація за Фішером обов'язково буде сумою значень інформації за Фішером для кожного окремого зразка з його розподілу. Зокрема, якщо ці n розподілів незалежні й однаково розподілені, то інформація за Фішером обов'язково становитиме n разів інформації за Фішером для одного зразка з загального розподілу. Іншими словами, інформація за Фішером н. о. р. спостережень вибірки розміру n із сукупності дорівнює добуткові n на інформацію за Фішером для одного спостереження з цієї ж сукупності.
Неформальний вивід межі Крамера — Рао Нерівність Крамера — Рао стверджує, що обернена величина інформації за Фішером є нижньою межею дисперсії будь-якого незміщеного оцінювача θ. та пропонують наступний метод виведення межі Крамера — Рао, результат, який описує застосування інформації за Фішером.
Неформально, почнімо з розгляду незміщеного оцінювача . Математично «незміщеність» означає, що
незалежно від значення
Цей вираз нульовий незалежно від θ, тож його частинна похідна за θ також мусить бути нульовою. За правилом добутку ця частинна похідна також дорівнює
Для кожного значення θ функція правдоподібності є функцією густини ймовірності, отже, . Використовуючи ланцюгове правило для частинної похідної , а потім ділячи й множачи на , можливо перевірити, що
Використовуючи ці два факти в наведеному вище виразі, отримуємо
Розкладання підінтегрального виразу на множники дає
При піднесенні виразу в інтегралі до квадрату нерівність Коші — Буняковського дає
Другий множник у дужках визначається як інформація за Фішером, а перший множник є середньоквадратичною похибкою оцінювача . За перетворення, ця нерівність каже нам, що
Іншими словами, точність можливої оцінки параметра θ принципово обмежена інформацією за Фішером функції правдоподібності.
Іншим чином той же висновок можливо отримати безпосередньо з , застосувавши її до випадкових величин та , і побачивши, що для незміщених оцінювачів маємо
Приклади
Однопараметровий експеримент Бернуллі Проба Бернуллі — це випадкова величина з двома можливими результатами: 0 та 1, де 1 має ймовірність θ. Цей результат можливо розглядати як підкидання несиметричної монети, де ймовірність випадіння аверса (1) дорівнює θ, а ймовірність випадіння реверса (0) — .
Нехай X — проба Бернуллі однієї вибірки з розподілу. Інформацію за Фішером, яка міститься в X, можна обчислити як
Оскільки інформація за Фішером адитивна, інформація за Фішером для n незалежних випробувань Бернуллі становить
Якщо — один з можливих результатів n незалежних випробувань Бернуллі, а — j-й результат i-го випробування, то ймовірність задається як
Середнє значення i-го випробування становить Математичне сподівання середнього значення випробування:
де сума береться по всіх можливих результатах випробувань. Математичне сподівання квадрата середнього:
тож дисперсія значення середнього становить
Видно, що інформація за Фішером є оберненою величиною дисперсії середнього числа успіхів у n випробуваннях Бернуллі. Це правило є загальним. У цьому випадку нерівність Крамера — Рао є рівністю.
Оцінка θ за X ∼ Bern (√θ)
Як інший модельний приклад розгляньмо випадкову величину з можливими результатами 0 та 1 з імовірностями та відповідно, для деякого . Наша мета — оцінити зі спостережень .
Інформація за Фішером для цього випадку виглядає якЦей вираз також можливо вивести безпосередньо перепараметруванням наведеної нижче формули. Загальніше, для будь-якої достатньо регулярної функції , такої, що , інформація за Фішером для оцінки за обчислюється аналогічно:
Матричний вигляд Коли параметрів N, тобто θ — вектор , тоді інформація за Фішером набуває вигляду матриці . Цю матрицю називають інформаці́йною ма́трицею за Фі́шером (ІМФ, ), і її типовий елемент
ІМФ — додатно напіввизначена матриця . Якщо вона додатно визначена, то вона визначає ріманову метрику на N-вимірному . Галузь використовує це для поєднання інформації за Фішером з диференціальною геометрією, і в цьому контексті ця метрика відома як .
За певних умов регулярності інформаційну матрицю за Фішером можна також записати як
Цей результат цікавий з кількох причин: Його можливо вивести як матрицю Гессе відносної ентропії. Його можливо використовувати як ріманову метрику для визначення геометрії Фішера — Рао, коли він додатно визначений. Його можливо розуміти як метрику, індуковану з евклідової метрики, після відповідної заміни змінної. У комплекснозначному вигляді це метрика Фубіні — Штуді. Він є ключовою частиною доведення теореми Уїлкса, яка дозволяє оцінювати довірчі області для оцінювання максимальною правдоподібністю (для тих умов, для яких це застосовно), не потребуючи принципу правдоподібності. У випадках, коли наведені вище аналітичні обчислення ІМФ складні, можливо робити усереднення простих оцінок Монте-Карло матриці Гессе від'ємної функції логарифмічної правдоподібності як оцінку ІМФ.Spall, J. C. (2008), "Improved Methods for Monte Carlo Estimation of the Fisher Information Matrix," Proceedings of the American Control Conference , Seattle, WA, 11–13 June 2008, pp. 2395–2400. https://doi.org/10.1109/ACC.2008.4586850 Ці оцінки можуть ґрунтуватися на значеннях від'ємної функції логарифмічної правдоподібності або її градієнті; аналітичне обчислення матриці Гессе від'ємної функції логарифмічної правдоподібності не потрібне.
Інформаційно ортогональні параметри Кажуть, що два вектори компонент параметрів θ1 та θ2 інформаційно ортогональні (), якщо інформаційна матриця за Фішером блочно-діагональна з цими компонентами в окремих блоках. Ортогональні параметри зручні тим, що їхні оцінки максимальною правдоподібністю асимптотично некорельовані. Коли йдеться про аналіз статистичної моделі, варто витратити певний час на пошук ортогонального параметрування моделі, особливо коли цільовий параметр одновимірний, але завадний параметр може мати будь-яку вимірність.
Сингулярна статистична модель
Якщо інформаційна матриця за Фішером додатно визначена для всіх значень , то відповідну статистичну модель називають регулярною (); інакше модель називають сингулярною ().. До прикладів сингулярних статистичних моделей належать: гауссові , біноміальні суміші, багатовимірні суміші, баєсові мережі, нейронні мережі, радіальні базисні функції, приховані марковські моделі, , регресії зі зменшеним рангом (), машини Больцмана.
У машинному навчанні, якщо статистичну модель розроблено так, що вона витягує приховану структуру з випадкового явища, то вона природно стає сингулярною.
Багатовимірний нормальний розподіл ІМФ для N-вимірного багатовимірного нормального розподілу має особливий вигляд. Нехай K-вимірний вектор параметрів це , а вектор випадкових нормальних величин це . Припустімо, що середні значення цих випадкових величин це , а — коваріаційна матриця. Тоді, для , елемент (m, n) ІМФ дорівнює:
де позначує транспонування вектора, позначує слід квадратної матриці, а
Зауважте, що особливим, але дуже поширеним випадком є такий, коли , стала. Тоді
У цьому випадку інформаційну матрицю за Фішером можна ототожнити з матрицею коефіцієнтів теорії найменших квадратів.
Інший особливий випадок виникає, коли середнє та коваріація залежать від двох різних векторних параметрів, скажімо, β та θ. Це особливо популярне в аналізі просторових даних, де часто використовують лінійну модель з корельованими залишками. У такому випадку
де
Властивості
Ланцюгове правило