У статистиці кореля́ція () або зале́жність () — це будь-який статистичний взаємозв'язок, причинний чи ні, між двома випадковими змінними або . Хоч у найширшому сенсі «кореляція» й може вказувати на будь-який тип пов'язаності, у статистиці вона зазвичай означає ступінь, до якого пара змінних пов'язані лінійно. До добре відомих прикладів залежних явищ належать кореляція між зростом батьків та їхніх нащадків, а також кореляція між ціною товару та кількістю, яку споживачі готові придбати, як це зображують на так званій кривій попиту.
Кореляції корисні, бо вони можуть вказувати на передбачальний зв'язок, який можливо використовувати на практиці. Наприклад, енергогенерувальна компанія може виробляти менше електроенергії в день з помірною погодою на основі кореляції між попитом на електроенергію та погодою. У цьому прикладі існує причинно-наслідковий зв'язок, оскільки екстремальна погода змушує людей використовувати більше електроенергії для опалення чи кондиціювання. Проте в загальному випадку, щоби зробити висновок про наявність причинно-наслідкового зв'язку, наявності кореляції недостатньо (тобто, кореляція не означає спричинювання).
Формально випадкові змінні залежні, якщо вони не задовольняють математичній властивості ймовірнісної незалежності. Неформальною мовою кореляція є синонімом залежності. Проте при використанні в технічному сенсі кореляція означає будь-яку з декількох конкретних типів математичних операцій між випробуваними змінними та їхніми відповідними математичними сподіваннями. По суті, кореляція — це міра того, як дві чи більше змінні пов'язані одна з одною. Існує декілька коефіцієнтів кореляції, часто позначуваних через або , які вимірюють ступінь кореляції. Найпоширеніший з них — коефіцієнт кореляції Пірсона, чутливий лише до лінійного взаємозв'язку між двома змінними (який може мати місце, навіть якщо одна змінна є нелінійною функцією іншої). Інші коефіцієнти кореляції — наприклад, рангову кореляцію Спірмена, — було розроблено для більшої робастності, ніж в пірсонового, тобто більшої чутливості до нелінійних взаємозв'язків.Croxton, Frederick Emory; Cowden, Dudley Johnstone; Klein, Sidney (1968) Applied General Statistics , Pitman. (page 625)Dietrich, Cornelius Frank (1991) Uncertainty, Calibration and Probability: The Statistics of Scientific and Industrial Measurement 2nd Edition , A. Higler. (Page 331)Aitken, Alexander Craig (1957) Statistical Mathematics 8th Edition . Oliver & Boyd. (Page 95) Для вимірювання взаємозалежності двох змінних також можливо застосовувати взаємну інформацію.
Коефіцієнт кореляції моменту добутку Пірсона
Найбільш загальновідомою мірою залежності між двома величинами є коефіцієнт кореляції моменту добутку Пірсона (), або «коефіцієнт кореляції Пірсона» (), який зазвичай називають просто «коефіцієнт кореляції» (). Його отримують взяттям співвідношення коваріацій двох розгляданих змінних нашого чисельного набору даних, унормованої квадратним коренем їхніх дисперсій. Математично, коваріацію цих двох змінних просто ділять на добуток їхніх стандартних відхилень. Карл Пірсон розробив цей коефіцієнт на основі подібної, але дещо відмінної ідеї Френсіса Гальтона.
Коефіцієнт кореляції Пірсона намагається встановити лінію, яка найкраще допасовується до набору даних із двох змінних, по суті викладаючи очікувані значення, а отриманий коефіцієнт кореляції Пірсона вказує, наскільки далеким від очікуваних значень є фактичний набір даних. Залежно від знаку нашого коефіцієнта кореляції Пірсона ми можемо отримати як від'ємну, так і додатну кореляцію, якщо якийсь зв'язок між змінними нашого набору даних існує.
Генеральний коефіцієнт кореляції () між двома випадковими змінними та з математичними сподіваннями та та стандартними відхиленнями та визначають як
де — оператор математичного сподівання, означає коваріацію, а — широко вживане альтернативне позначення коефіцієнту кореляції. Кореляція Пірсона визначається лише в тому випадку, якщо обидва стандартні відхилення є скінченними й додатними. Альтернативною формулою чисто в термінах моментів є
Кореляція та незалежність
Наслідком нерівності Коші — Буняковського є те, що модуль коефіцієнта кореляції Пірсона не перевищує 1. Таким чином, значення коефіцієнта кореляції лежать у проміжку з −1 по +1. Коефіцієнт кореляції дорівнює +1 у випадку ідеального прямого (висхідного) лінійного взаємозв'язку (кореляції), −1 у випадку ідеального зворотного (спадного) лінійного взаємозв'язку (антикореля́ція, ),Dowdy, S. and Wearden, S. (1983). "Statistics for Research" , Wiley. pp 230 і деякому значенню в інтервалі у всіх інших випадках, показуючи ступінь лінійної залежності між змінними. У міру його наближення до нуля взаємозв'язок послаблюється (ближче до некорельованих). Що ближчий цей коефіцієнт до −1 чи 1, то сильніша кореляція між змінними.
Якщо змінні незалежні, то коефіцієнт кореляції Пірсона дорівнює 0, але зворотне не істинне, оскільки коефіцієнт кореляції виявляє лише лінійні залежності між двома змінними. Простіше кажучи, якщо дві випадкові змінні та незалежні, то вони некорельовані, але якщо дві випадкові змінні некорельовані, то вони можуть бути, а можуть і не бути незалежними.
Наприклад, припустімо, що випадкова змінна симетрично розподілена навколо нуля, а . Тоді цілком визначено через , тож та цілком залежні, але їхня кореляція дорівнює нулеві: вони некорельовані. Проте в особливому випадку, коли та , некорельованість рівнозначна незалежності.
Незважаючи на те, що некорельованість даних не обов'язково означає незалежність, можливо пересвідчуватися, що випадкові змінні незалежні, якщо їхня взаємна інформація дорівнює 0.
Ви́бірковий коефіцієнт кореляції
За заданого ряду з вимірів пари , пронумерованих за , для оцінювання генеральної кореляції Пірсона між та можливо використовувати ви́бірковий коефіцієнт кореляції (). Цей вибірковий коефіцієнт кореляції визначають як
де та — вибіркові середні значення та , а та — скориговані вибіркові стандартні відхилення та .
Еквівалентними виразами для є
де та — нескориговані вибіркові стандартні відхилення та .
Якщо та — результати вимірювань, що містять похибку вимірювання, то реалістичні межі коефіцієнта кореляції становлять не від −1 до +1, а менший проміжок. Для випадку лінійної моделі з єдиною незалежною змінною коефіцієнтом детермінації (R-квадрат) є квадрат , коефіцієнту кореляції Пірсона.
Приклад
Розгляньмо спільний розподіл імовірності та , наведений у таблиці нижче.
{| class="wikitable" style="text-align:center;" |+ ! !−1 !0 !1 |- !0 |0 | |0 |- !1 | |0
Відособлені розподіли для цього спільного розподілу:
Це дає наступні математичні сподівання та дисперсії:
Отже,
Коефіцієнти рангової кореляції
Коефіцієнти рангової кореляції, як-от коефіцієнт рангової кореляції Спірмена та коефіцієнт рангової кореляції Кендалла (τ), вимірюють, до якої міри в разі збільшення однієї змінної інша змінна схильна збільшуватися, не вимагаючи, щоби це збільшення було подано лінійною залежністю. Якщо за збільшення однієї змінної інша зменшується, то коефіцієнти рангової кореляції будуть від'ємними. Ці коефіцієнти рангової кореляції часто розглядають як альтернативи коефіцієнту Пірсона, яку використовують або для зменшення кількості обчислень, або для того, щоби зробити коефіцієнт менш чутливим до не нормальності в розподілах. Проте ця точка зору має мало математичних підстав, оскільки коефіцієнти рангової кореляції вимірюють інший тип зв'язку, ніж коефіцієнт кореляції Пірсона, і їх найкраще розглядати як показники іншого типу зв'язку, а не як альтернативну міру генерального коефіцієнту кореляції.Yule, G.U and Kendall, M.G. (1950), "An Introduction to the Theory of Statistics", 14th Edition (5th Impression 1968) . Charles Griffin & Co. pp 258–270Kendall, M. G. (1955) "Rank Correlation Methods" , Charles Griffin & Co.
Щоби унаочнити природу рангової кореляції та її відмінність від лінійної кореляції, розгляньмо наступні чотири пари чисел :
(0, 1), (10, 100), (101, 500), (102, 2000).
В міру просування від кожної пари до наступної збільшується, й те саме робить . Цей взаємозв'язок ідеальний, у тому сенсі, що збільшення в завжди супроводжується збільшенням в . Це означає, що ми маємо ідеальну рангову кореляцію, й обидва коефіцієнти кореляції Спірмена та Кендалла дорівнюють 1, тоді як у цьому прикладі коефіцієнт кореляції Пірсона дорівнює 0,7544, вказуючи на те, що точки далеко не лежать на одній прямій. Так само, якщо завжди зменшується, коли збільшується, коефіцієнти рангової кореляції становитимуть −1, тоді як коефіцієнт кореляції Пірсона може бути або не бути близьким до −1, залежно від того, наскільки близько до прямої лінії розташовані ці точки. Хоча в граничних випадках ідеальної рангової кореляції ці два коефіцієнти рівні (чи то обидва +1, чи обидва −1), зазвичай це не так, і тому значення цих двох коефіцієнтів неможливо порівнювати змістовно. Наприклад, для трьох пар (1, 1) (2, 3) (3, 2) коефіцієнт Спірмена дорівнює 1/2, а коефіцієнт Кендалла дорівнює 1/3.
Інші міри залежності між випадковими змінними
Інформації, яку надає коефіцієнт кореляції, недостатньо для визначення структури залежності між випадковими змінними. Коефіцієнт кореляції повністю визначає структуру залежності лише в дуже окремих випадках, наприклад, коли розподіл є багатовимірним нормальним розподілом (див. рисунок вище). У випадку еліптичних розподілів він характеризує (гіпер-)еліпси рівної густини, проте він не повністю характеризує структуру залежності (наприклад, ступені вільності визначають рівень хвостової залежності).
Для подолання того недоліку кореляції Пірсона, що вона може бути нульовою для залежних змінних, було запропоновано (), нульова кореляція по віддалі означає незалежність.
Рандомізований коефіцієнт залежності (РКЗ, )Lopez-Paz D. and Hennig P. and Schölkopf B. (2013). "The Randomized Dependence Coefficient", "" Reprint — це обчислювально ефективна міра залежності між багатовимірними випадковими змінними на основі копул. РКЗ інваріантний щодо нелінійного масштабування випадкових змінних, здатний виявляти широкий спектр моделей функціональних асоціацій, і набуває нульового значення при незалежності.
Для двох співвідношення шансів вимірює їхню залежність і набуває діапазону невід'ємних чисел, потенційно нескінченних:. Схожі статистики, як-от та , унормовують його до подібного на кореляцію проміжку . Співвідношення шансів узагальнено логістичною моделлю для моделювання випадків, коли залежні змінні є дискретними, й може бути одна або декілька незалежних змінних.
, взаємна інформація на основі ентропії, , та також здатні виявляти загальніші залежності, як і розгляд копули між ними, тоді як коефіцієнт детермінації узагальнює коефіцієнт кореляції до .
Чутливість до розподілу даних
Ступінь залежності між змінними та не залежить від масштабу, в якому виражено ці змінні. Тобто, якщо ми аналізуємо взаємозв'язок між та , перетворення на й на , де a, b, c та d є сталими (b та d додатні), на більшість мір кореляції не впливає. Це стосується деяких кореляційних статистик, а також їхніх генеральних аналогів. Деякі кореляційні статистики, як-от коефіцієнт рангової кореляції, також інваріантні щодо монотонних перетворень відособлених розподілів та/або .
Більшість мір кореляції чутливі до способу вибирання та . Залежності, як правило, сильніші, якщо розглядати їх на ширшому діапазоні значень. Таким чином, якщо ми розглянемо коефіцієнт кореляції між зростом батьків та їхніх синів над усіма дорослими чоловіками, та порівняємо його з тим же коефіцієнтом кореляції, розрахованим, коли вибрано батьків зростом від 165 см до 170 см, то в останньому випадку кореляція буде слабшою. Було розроблено кілька методик, які намагаються виправляти обмеження діапазону в одній або обох змінних, і які зазвичай використовують в метааналізі; найпоширенішими є рівняння Торндайка другого та третього випадків.