Uogólniony model liniowy (ang. generalized linear model, GLM) – model statystyczny będący uogólnieniem zwykłej regresji liniowej. GLM uogólnia regresję liniową poprzez powiązanie kombinacji liniowej zmiennych objaśniających ze zmienną objaśnianą za pomocą funkcji wiążącej (ang. link function) oraz poprzez umożliwienie przedstawienia wariancji każdego pomiaru jako funkcji wartości przewidywanej.
Uogólnione modele liniowe zostały sformułowane przez Johna Neldera i Roberta Wedderburna jako sposób na ujednolicenie różnych innych modeli statystycznych, w tym regresji liniowej, regresji logistycznej i regresji Poissona. Zaproponowali oni iteracyjną ważoną metodę najmniejszych kwadratów do estymacji parametrów modelu metodą największej wiarygodności (MLE). MLE jest popularną metodą, która stosowana jest jako domyślna w wielu pakietach statystycznych. Opracowano również inne podejścia, takie jak regresja bayesowska i dopasowanie metodą najmniejszych kwadratów z wykorzystaniem stabilizacji wariancji.
Idea Zwykła regresja liniowa przewiduje wartość oczekiwaną danej nieznanej wielkości (zmiennej objaśnianej, nazywanej też zmienną odpowiedzi) na podstawie kombinacji liniowej obserwowanych wartości (zmiennych objaśniających). Oznacza to, że określona zmiana predyktora prowadzi średnio do proporcjonalnej zmiany zmiennej objaśnianej (model odpowiedzi liniowej). Jest to odpowiednie, gdy zmienna objaśniana zmienia się (z dobrym przybliżeniem) w nieskończoność w dowolnym kierunku lub zmienia się jedynie o stosunkowo niewielką wartość w porównaniu ze zmianami zmiennych predykcyjnych, np. w przypadku wzrostu człowieka.
Jednak założenia te mogą być niewłaściwe w przypadku niektórych typów zmiennych objaśnianych. Na przykład gdy oczekuje się, że zmienna objaśniająca będzie się zmieniać w szerokim zakresie, ale zawsze będzie dodatnia, zmiany predyktorów mogą prowadzić do geometrycznie (tzn. wykładniczo) – a nie liniowo – zmieniających się wartości na wyjściu. Załóżmy na przykład, że liniowy model predykcyjny dowiaduje się na podstawie cząstkowych danych (być może pochodzących głównie z dużych plaż), że spadek temperatury o 10 stopni spowoduje, że plażę będzie odwiedzać o 1000 osób mniej. Jest mało prawdopodobne, aby ten model można było uogólnić na plaże o różnej wielkości. Mówiąc dokładniej, problem polega na tym, że jeśli użyje się modelu do przewidzenia nowej frekwencji przy spadku temperatury o 10 dla plaży, na której regularnie pojawia się 50 plażowiczów, przewidywana będzie niemożliwa liczba plażowiczów wynosząca -950. Logicznie rzecz biorąc, bardziej realistyczny model przewidywałby zamiast tego stałą stopę wzrostu frekwencji na plażach (np. wzrost o 10 stopni prowadziłby do podwojenia frekwencji na plaży, a spadek o 10 stopni prowadziłby do zmniejszenia frekwencji o połowę). Taki model nazywany jest modelem odpowiedzi logarytmicznej lub modelem logarytmiczno-liniowym, ponieważ przewiduje, że logarytm zmiennej objaśnianej będzie się zmieniał się liniowo.
Analogicznie, model liniowy przewidujący prawdopodobieństwo dokonania wyboru tak/nie (zmienna zero-jedynkowa) byłby jeszcze mniej odpowiedni, ponieważ prawdopodobieństwa są ograniczone z obu stron (muszą mieścić się w przedziale od 0 do 1). Wyobraźmy sobie na przykład model, który przewiduje prawdopodobieństwo wyjścia danej osoby na plażę w zależności od temperatury. Rozsądny model mógłby na przykład przewidywać, że zmiana o 10 stopni powoduje, że dana osoba będzie dwa razy bardziej lub mniej skłonna do wyjścia na plażę. Co jednak oznacza „dwa razy większa skłonność” w tym kontekście? Nie może dosłownie oznaczać podwojenia wartości prawdopodobieństwa (np. 50% staje się 100%, 75% staje się 150% itd.). Raczej podwajają się szanse: od szans 2:1, przez 4:1, aż do 8:1 itd. Taki model jest nazywany jest modelem logarytmu szansy lub modelem logistycznym.
Uogólnione modele liniowe obejmują powyższe sytuacje: umożliwiają inne niż rozkład normalny rozkłady zmiennej objaśnianej oraz zakładają, że kombinacją liniową predyktorów i składnika losowego jest argument funkcji wiążącej, a nie sama zmienna objaśniana. Odwołując się do powyższych przykładów: przewidywana liczba plażowiczów będzie zazwyczaj modelowana za pomocą rozkładu Poissona i wiązania logarytmicznego, a prawdopodobieństwo obecności na plaży będzie zazwyczaj modelowane za pomocą rozkładu zero-jedynkowego (lub rozkładu dwumianowego, w zależności od tego jak dokładnie sformułowano problem) i logitowej funkcji wiążącej.
Przegląd W uogólnionym modelu liniowym (GLM) zakłada się, że każdy wynik Y zmiennej objaśnianej jest generowany z określonego rozkładu z rodziny wykładniczej – dużej klasy rozkładów prawdopodobieństwa, która obejmuje między innymi rozkład normalny, dwumianowy, Poissona i gamma. Średnia warunkowa μ rozkładu zależy od zmiennych niezależnych X zgodnie z następującym wzorem:
gdzie E(Y | X) jest wartością oczekiwaną Y pod warunkiem X; iloczyn Xβ,nazywany predyktorem liniowym, jest liniową kombinacją nieznanych parametrów β; g jest funkcją wiążącą.
W tym kontekście wariancja jest zazwyczaj funkcją V warunkowej wartości oczekiwanej:
Nieznane parametry β są zazwyczaj szacowane przy użyciu metody największej wiarygodności, największej quasi-wiarygodności lub technik bayesowskich.
Elementy modelu GLM składa się z trzech elementów:
1. określonego rozkładu wykorzystywanego do modelowania należącego do rodziny wykładniczej, 2. predyktora liniowego , 3. funkcji wiążącej , takiej że .
Rozkład prawdopodobieństwa Rodzina rozkładów wykładniczych z nadmierną dyspersją jest uogólnieniem rodziny wykładniczej i dyspersyjnej rodziny rozkładów wykładniczych i obejmuje te rodziny rozkładów prawdopodobieństwa, sparametryzowane przez i , których funkcje gęstości f (lub funkcje masy prawdopodobieństwa, dla rozkładów dyskretnych) można wyrazić w postaci:
Parametr dyspersji, , zazwyczaj jest znany i powiązany z wariancją rozkładu. Funkcje , , , , i są również znane.
Do tej rodziny należy wiele powszechnie stosowanych rozkładów, w tym rozkład normalny, wykładniczy, gamma, Poissona, zero-jedynkowy i (dla ustalonej liczby prób) dwumianowy, wielomianowy i ujemny dwumianowy.
Gdy i są skalarami (stosuje się wtedy oznaczenia i ) funkcja gęstości sprowadza się do:
Parametr jest powiązany ze średnią rozkładu. Jeśli , mówimy, że rozkład ma postać kanoniczną (lub postać naturalną). Należy pamiętać, że dowolny rozkład można przekształcić do postaci kanonicznej poprzez przepisanie jako i zastosowanie transformacji ; zawsze można przekształcić w zgodzie z nową parametryzacja, nawet jeśli nie jest iniekcją. Jeżeli dodatkowo i jest znane, nazywa się parametrem kanonicznym (lub parametrem naturalnym) powiązanym ze średnią w następujący sposób:
Dla skalarnych wartości i powyższe sprowadza się do
W tym scenariuszu można wykazać, że wariancja rozkładu wynosi
i dla skalarnych i
Predyktor liniowy Predyktor liniowy η (greckie „eta”) to wielkość, która włącza do modelu informacje o zmiennych objaśniających. Predyktor liniowy jest powiązany z wartością oczekiwaną przez funkcję wiążącą.
η jest kombinacją liniową (stąd „liniowy”) nieznanych parametrów β. Rolę współczynników kombinacji liniowej pełni macierz zmiennych objaśniających X. η można zatem wyrazić jako
Funkcja wiążąca Funkcja wiążąca (ang. link function) zapewnia związek między predyktorem liniowym a warunkową wartością oczekiwaną zmiennej objaśnianej. Wykorzystuje się wiele funkcji wiążących – ich wybór wynika z kilku czynników. Zawsze istnieje dobrze określona kanoniczna funkcja wiążąca, która jest wyprowadzana z funkcji gęstości zmiennej objaśnianej. Jednak w niektórych przypadkach może mieć sens próba dopasowania dziedziny funkcji wiążącej do zakresu średniej rozkładu zmiennej objaśnianej albo wykorzystanie niekanonicznej funkcji wiążącej ze względów algorytmicznych, na przykład w ramach bayesowskiej regresji probitowej.
Gdy funkcja rozkładu ma parametr kanoniczny wówczas kanoniczna funkcja wiążąca to funkcja wyrażającą za pomocą : W przypadku najpopularniejszych rozkładów średnia jest jednym z parametrów funkcji gęstości rozkładu, a jest funkcją zdefiniowaną powyżej, która odwzorowuje funkcję gęstości na jej postać kanoniczną. Jeżeli funkcja wiążąca jest kanoniczna, to co pozwala być wystarczającą statystyką dla .
W poniższej tabeli przedstawiono kilka powszechnie używanych rozkładów z rodziny wykładniczej, sytuacje, w których są wykorzystywane, ich kanoniczne funkcje wiążące i odwrotności. +Typowe rozkłady, ich wykorzystanie oraz kanoniczne funkcje wiążąceRozkładNośnikTypowe wykorzystanieNazwa funkcji wiążącejFunkcja wiążąca, Odwrotność funkcji wiążącejnormalnyzależności liniowetożsamośćwykładniczymodel odpowiedzi wykładniczej, parametry skaliujemna odwrotnośćgammaodwrotność do kwadratuPoissonanieujemne liczby całkowite: liczba wystąpień w określonym czasie/przestrzenilogarytmzero-jedynkowytak/nielogitdwumianowyliczba wystąpień w N próbachwielopunktowyliczba całkowita z przedziału wystąpienie jednej z K kategorii w pojedynczej próbieK-wymiarowy wektor, gdzie dokładnie jeden element ma wartość 1, a pozostałe to zerawielomianowyK-wymiarowy wektor o wartościach całkowitych z przedziału liczba wystąpień każdej z K kategorii w N próbach W przypadku rozkładów wykładniczego i gamma należy w ramach dopasowywania modelu podjąć odpowiednie środki ostrożności, ponieważ dziedzina kanonicznej funkcji wiążącej nie jest tożsama z dopuszczalnym zakresem średniej: predyktor liniowy może być dodatni, co dałoby niemożliwą do uzyskania średnią ujemną. Alternatywą jest użycie niekanonicznej funkcji wiążącej.
W przypadku rozkładów zero-jedynkowego, dwumianowego, wielopunktowego i wielomianowego nośniki rozkładów nie są zgodne z wartościami przyjmowanymi przez zmienną objaśnianą. We wszystkich tych przypadkach dokonuje się predykcji jednego lub większej liczby prawdopodobieństw w przedziale . Taki model jest znany jako regresja logistyczna (lub wielomianowa regresja logistyczna jeśli przewidywane są więcej niż dwie wartości).
Dla rozkładu zero-jedynkowego i dwumianowego parametrem jest prawdopodobieństwo pojedyncze, wskazujące prawdopodobieństwo wystąpienia pojedynczego zdarzenia. W tym przypadku nadal spełniony jest podstawowy warunek uogólnionego modelu liniowego: chociaż pojedynczy wynik będzie zawsze wynosił 0 lub 1, to wartość oczekiwana będzie prawdopodobieństwem wystąpienia 1 („tak”). Podobnie w rozkładzie dwumianowym wartością oczekiwaną jest Np, co oznacza, że będzie się przewidywać oczekiwaną proporcję sukcesów.
W przypadku rozkładów wielopunktowych i wielomianowych przewidywany jest wektor K prawdopodobieństw, z zastrzeżeniem, że prawdopodobieństwa muszą sumować się do 1. W przypadku rozkładu wielomianowego i wektorowej postaci rozkładu wielopunktowego oczekiwane wartości elementów wektora można powiązać z przewidywanymi prawdopodobieństwami podobnie jak w przypadku rozkładu dwumianowego i rozkładu zero-jedynkowego.
Estymacja Metoda maksymalnej wiarygodności Oszacowania największej wiarygodności można znaleźć za pomocą iteracyjnie przeważonego algorytmu najmniejszych kwadratów/metody Newtona z aktualizacjami postaci:
lub za pomocą metody ocen Fishera (Fisher scoring):
gdzie jest funkcją wynikową (gradientem log-wiarygodności); jest obserwowaną macierzą informacyjną (ujemną macierzą Hessego), a jest macierzą informacyjną Fishera. Warto zauważyć, że jeśli korzystamy z kanonicznej funkcji wiążącej, to te macierze takie same.
Metody bayesowskie Zwykle rozkładu a posteriori nie można wyrazić w sposób jawny, dlatego aproksymuje się go za pomocą przybliżeń Laplace'a lub z wykorzystaniem jakiejś formy próbkowania Monte Carlo łańcuchami Markowa, np. próbkowania Gibbsa.
Przykłady Ogólne modele liniowe Podobieństwo nazwy między uogólnionymi modelami liniowymi i , dwoma szerokimi grupami modeli statystycznych, może prowadzić do nieporozumień. Współtwórca John Nelder wyraził ubolewanie z powodu zastosowania tego nazewnictwa..