́Інформаційний критерій Акаіке (ІКА, ) — це оцінювач похибки позавибіркового передбачування, і відтак відносної якості статистичних моделей, для заданого набору даних. Маючи сукупність моделей для цих даних, ІКА оцінює якість кожної з моделей відносно кожної з інших моделей. Таким чином, ІКА пропонує засоби для обирання моделі.

ІКА ґрунтується на теорії інформації. Коли статистичну модель використовують для представлення процесу, що породив дані, це представлення майже ніколи не буде точним, тож деяка інформація при застосуванні цієї моделі для представлення цього процесу втрачатиметься. ІКА оцінює відносну кількість інформації, що втрачає задана модель: що менше інформації втрачає модель, то вищою є її якість.

В оцінюванні кількості інформації, що втрачає модель, ІКА має справу з компромісом між допасованістю моделі та її простотою. Іншими словами, ІКА працює як із ризиком перенавчання, так і з ризиком недонавчання.

Інформаційний критерій Акаіке названо на честь статистика , який його сформулював. Він тепер формує основу однієї з парадигм , а також знаходить широкого вжитку в статистичному висновуванні.

Означення Припустімо, що ми маємо статистичну модель якихось даних. Нехай буде числом оцінюваних параметрів у цій моделі. Нехай буде максимальним значенням функції правдоподібності для цієї моделі. Тоді значенням ІКА цієї моделі є наступне.

Для заданого набору моделей-кандидатів даних найкращою моделлю є та, що має мінімальне значення ІКА. Таким чином, ІКА винагороджує допасованість (за оцінкою функції правдоподібності), але також включає штраф, що є висхідною функцією числа оцінюваних параметрів. Цей штраф перешкоджає перенавчанню, оскільки збільшення числа параметрів у моделі майже завжди покращує її допасованість.

ІКА засновано на теорії інформації. Припустімо, що дані породжуються якимось невідомим процесом f. Ми розглядаємо дві моделі-кандидати для представлення f: g1 та g2. Якби ми знали f, то могли би знайти втрату інформації від застосування g1 для представлення f шляхом обчислення розходження Кульбака — Лейблера, ; аналогічно, втрату інформації від застосування g2 для представлення f може бути знайдено обчисленням . Тоді би ми, загалом, обрали модель-кандидата, що мінімізує втрату інформації.

Ми не можемо обирати з упевненістю, оскільки не знаємо f. Проте показав, що за допомогою ІКА ми можемо оцінити, наскільки більше (або менше) інформації втрачається моделлю g1, аніж моделлю g2. Ця оцінка, проте, є вірною лише : якщо кількість точок даних є малою, то часто є необхідним додаткове коригування (див. § ІКАк нижче).

Зауважте, що ІКА не каже нічого про абсолютну якість моделі, лише про якість відносно інших моделей. Таким чином, якщо всі моделі-кандидати допасовуються погано, ІКА не видасть жодного попередження про це. Отже, після обрання моделі за допомогою ІКА, зазвичай доброю практикою є підтвердити абсолютну якість моделі. Таке підтвердження зазвичай включає перевірку залишків моделі (щоби визначити, чи виглядають залишки випадковими), та перевірки передбачень моделі. Докладніше з цієї теми див. затверджування статистичної моделі.

Як використовувати ІКА на практиці

Для застосування ІКА на практиці ми починаємо з набору моделей-кандидатів, а потім знаходимо відповідні значення ІКА цих моделей. Через застосування моделі-кандидата для представлення «справжньої моделі», тобто процесу, що породив дані, втрата інформації буде майже завжди. Серед моделей-кандидатів ми хочемо обрати таку, що мінімізує цю втрату інформації. Ми не можемо обирати з упевненістю, але ми можемо мінімізувати оцінювану втрату інформації.

Припустімо, що є R моделей-кандидатів. Позначмо значення ІКА () для цих моделей через AIC1, AIC2, AIC3, …, AICR. Нехай AICmin буде мінімальним із цих значень. Тоді величину exp((AICmin − AICi)/2) можливо інтерпретувати як пропорційну до ймовірності того, що i-та модель мінімізує (оцінювану) втрату інформації.

Як приклад, припустімо, що є три моделі-кандидати, значеннями ІКА яких є 100, 102 та 110. Тоді друга модель є в exp((100 − 102)/2) = 0.368 разів імовірнішою за першу модель для мінімізації втрати інформації. Аналогічно, третя модель є в exp((100 − 110)/2) = 0.007 разів імовірнішою за першу для мінімізації втрати інформації.

В цьому прикладі ми опустимо третю модель із подальшого розгляду. Тоді ми матимемо три варіанти: (1) зібрати більше даних у надії, що це дозволить здійснити чітке розрізнення між першими двома моделями; (2) просто зробити висновок, що дані є недостатніми для підтримки обрання моделі з-поміж цих двох; (3) взяти зважене середнє перших двох моделей з ваговими коефіцієнтами, пропорційними 1 та 0.368 відповідно, і потім здійснювати статистичне висновування на основі зваженої мультимоделі.

Величина exp((AICmin − AICi)/2) є відомою як відносна правдоподібність моделі i. Вона є тісно пов'язаною з співвідношенням правдоподібностей, що використовують у перевірці співвідношенням правдоподібностей. Дійсно, якщо всі моделі в наборі кандидатів мають однакове число параметрів, то застосування ІКА може спершу здаватися дуже схожим на застосування перевірки співвідношенням правдоподібностей. Проте є істотні відмінності. Зокрема, перевірка співвідношенням правдоподібностей є чинною лише для вкладених моделей, тоді як ІКА (та ІКАк) не мають такого обмеження.

Перевірка гіпотез

Кожну перевірку статистичних гіпотез може бути сформульовано як порівняння статистичних моделей. Отже, кожну перевірку статистичних гіпотез може бути відтворено через ІКА. У підрозділах нижче коротко описано два приклади. Деталі для цих прикладів, та набагато більше прикладів, наведено в та .

Відтворення t-критерію Стьюдента

Як приклад перевірки гіпотез, розгляньмо t-критерій для порівнювання середніх значень двох нормально розподілених сукупностей. Вхід до t-критерію складається з випадкової вибірки з кожної з цих двох сукупностей.

Щоби сформулювати цей критерій як порівняння моделей, ми будуємо дві різні моделі. Перша модель моделює ці дві сукупності як такі, що мають потенційно різні середні значення та стандартні відхилення. Функція правдоподібності для першої моделі відтак є добутком правдоподібностей для двох різних нормальних розподілів, тож вона має чотири параметри: . Щоби бути точними, ця функція правдоподібності є наступною (із позначенням розмірів вибірок через and ).

Друга модель моделює ці дві сукупності як такі, що мають однакові середні, але потенційно різні стандартні відхилення. Функція правдоподібності для другої моделі відтак встановлює в наведеному вище рівнянні , тож вона має три параметри.

Потім ми максимізуємо ці функції правдоподібності для цих двох моделей (на практиці ми максимізуємо функції логарифмічної правдоподібності), після чого стає просто обчислити значення ІКА цих моделей. Далі ми обчислюємо відносну правдоподібність. Наприклад, якщо друга модель виявиться лише в 0.01 разів правдоподібнішою за першу, то ми виключимо другу модель із подальшого розгляду: тож ми зробимо висновок, що ті дві сукупності мають різні середні.

t-критерій виходить із того, що дві сукупності мають ідентичні стандартні відхилення. Цей критерій схильний бути ненадійним, якщо це припущення є хибним, а також якщо розміри двох вибірок є дуже різними ( був би кращим). Порівнювання середніх значень через ІКА, як у прикладі вище, має перевагу, бо не спирається на це припущення.

Порівнювання наборів категорійних даних

Як інший приклад перевірки гіпотез, припустімо, що ми маємо дві сукупності, й кожен із членів кожної сукупності перебуває в одній з двох категоій: категорії № 1, або категорії № 2. Кожна з сукупностей є розподіленою біноміально. Ми хочемо знати, чи є розподіли цих двох сукупностей однаковими. Нам дали випадкову вибірку з кожної з двох сукупностей.

Нехай буде розміром вибірки з першої сукупності. Нехай буде числом спостережень (у цій вибірці) в категорії № 1, тож числом спостережень у категорії № 2 буде . Аналогічно, нехай буде розміром вибірки з другої сукупності. Нехай буде числом спостережень (у цій вибірці) в категорії № 1.

Нехай буде ймовірністю того, що випадково обраний член першої сукупності перебуває в категорії № 1. Отже, ймовірністю того, що випадково обраний член першої сукупності перебуває в категорії № 2, буде . Зауважте, що розподіл першої сукупності має один параметр. Нехай буде ймовірністю того, що випадково обраний член другої сукупності перебуває в категорії № 1. Зауважте, що розподіл другої сукупності також має один параметр.

Щоби порівняти розподіли цих двох сукупностей, ми будуємо дві різні моделі. Перша модель моделює, що ці дві сукупності мають потенційно різні біноміальні розподіли. Функцією правдоподібності для першої моделі відтак є добуток правдоподібностей для двох відмінних біноміальних розподілів, тож вона має два параметри: , . Щоби бути точними, ця функція правдоподібності є наступною:

Друга модель моделює, що ці дві сукупності мають один і той же розподіл. Функція правдоподібності для другої моделі відтак встановлює в наведеному вище рівнянні , тож ця друга модель має один параметр.

Потім ми максимізуємо ці функції правдоподібності для цих двох моделей (на практиці ми максимізуємо функції логарифмічної правдоподібності), після чого стає просто обчислити значення ІКА цих моделей. Далі ми обчислюємо відносну правдоподібність. Наприклад, якщо друга модель виявилася лише в 0.01 разів правдоподібнішою за першу, то ми виключимо другу модель з подальшого розгляду: тож ми можемо зробити висновок, що ці дві сукупності мають різні розподіли.

Засади статистики

Статистичне висновування розглядають як таке, що складається з перевіряння та оцінювання гіпотез. Перевіряння гіпотез можливо здійснювати за допомогою ІКА, як обговорено вище. Стосовно оцінювання, існує два типи: точкове оцінювання та . Точкове оцінювання можливо здійснювати в межах парадигми ІКА: його забезпечує оцінка максимальної правдоподібності. Проміжкове оцінювання також можливо здійснювати в межах парадигми ІКА: його забезпечують проміжки правдоподібності. Отже, статистичне висновування загалом можливо здійснювати в межах парадигми ІКА.

Найширше вживаними парадигмами статистичного висновування є частотницьке висновування та баєсове висновування. Проте ІКА можливо використовувати для статистичного висновування без покладання як на частотницьку парадигму, так і на баєсову, оскільки ІКА можливо інтерпретувати без допомоги рівнів значущості та баєсових апріорних. Іншими словами, ІКА може бути використано для формування , відмінних як від частотництва, так і від баєсівства.

Видозміна для маленького розміру вибірки

Коли розмір вибірки є маленьким, існує реальна ймовірність того, що ІКА обиратиме моделі, які мають забагато параметрів, тобто, що ІКА перенавчатиметься. Для подолання такого потенційного перенавчання було розроблено ІКАк: це ІКА з коригуванням для маленьких розмірів вибірок.

Формула ІКАк залежить від статистичної моделі. Якщо виходити з того, що модель є , лінійною відносно своїх параметрів, та має нормально розподілені залишки (обумовлені регресорами), то формула ІКАк є такою:

де n позначає розмір вибірки, а k позначає кількість параметрів. Таким чином, ІКАк по суті є ІКА з додатковим членом штрафу на число параметрів. Зауважте, що коли , цей додатковий член штрафу збігається до 0, і відтак ІКАк збігається до ІКА.

Якщо припущення про те, що модель є одновимірною та лінійною з нормальними залишками, не виконується, то формула ІКАк в загальному випадку відрізнятиметься від наведеної вище. Для деяких моделей визначити цю формулу може бути складно. Втім, для кожної моделі, для якої існує ІКАк, формула ІКАк задається як ІКА плюс член, який включає як , так і 2. Для порівняння, формула ІКА включає , але не 2. Іншими словами, ІКА є (втрат інформації), в той час як ІКАк є .

Подальше обговорення цієї формули, з прикладами та іншими припущеннями, наведено в та . Зокрема, за інших припущень, часто є придатною натяжкова оцінка цієї формули.