Klasyczna metoda najmniejszych kwadratów, w skrócie KMNK (, OLS) – szczególny wariant metody najmniejszych kwadratów stosowany do estymacji parametrów modelu regresji liniowej. Parametry dobiera się tak, aby zminimalizować sumę kwadratów reszt, czyli różnic między zaobserwowanymi wartościami zmiennej zależnej a wartościami przewidywanymi przez model. Przy pełnej randze kolumnowej macierzy regresorów, czyli gdy żadna zmienna objaśniająca nie jest dokładną kombinacją liniową pozostałych, rozwiązanie ma jawną postać (gdzie to macierz zmiennych objaśniających, a – wektor obserwacji). Gdy spełnione są założenia Gaussa-Markowa, w tym jednakowa wariancja i brak korelacji błędów, estymator KMNK jest najlepszym liniowym nieobciążonym estymatorem (, BLUE), czyli ma najmniejszą wariancję wśród estymatorów liniowych i nieobciążonych.
W szerszym znaczeniu metoda najmniejszych kwadratów obejmuje również warianty ważone i nieliniowe. KMNK dotyczy natomiast liniowych modeli regresji estymowanych przez minimalizację nieważonej sumy kwadratów reszt. Jest jedną z podstawowych metod statystyki, ekonometrii i analizy danych. Traktuje się ją jako punkt wyjścia do uogólnień metody najmniejszych kwadratów. Metoda ma jednak ograniczenia: zwykłe wzory na błędy standardowe i testy zawodzą przy naruszeniu założeń o składniku losowym, dlatego oszacowania uzupełnia się diagnostyką reszt i estymatorami odpornymi. W obliczeniach estymator wyznacza się metodami numerycznie stabilnymi, a nie wprost z jawnego wzoru macierzowego. Metodę najmniejszych kwadratów sformułowano na początku XIX wieku na gruncie astronomii i geodezji. Jej pierwotna, nieważona postać stała się standardową metodą dla liniowych modeli statystycznych.
Zakres i notacja mały|Regresja wielomianowa trzeciego stopnia z pasmem ufności dopasowania: mimo krzywoliniowego wykresu model pozostaje liniowy względem parametrów, więc można go oszacować klasyczną metodą najmniejszych kwadratów KMNK jest metodą estymacji w modelu, w którym przewidywana wartość zmiennej objaśnianej jest liniową kombinacją parametrów. Same zmienne objaśniające mogą przy tym wchodzić do modelu w postaci przekształconej, na przykład jako potęgi, logarytmy lub zmienne zero-jedynkowe, o ile model pozostaje liniowy względem nieznanych parametrów. Dzięki temu metoda obejmuje zarówno prostą regresję z jedną zmienną objaśniającą, jak i regresję wieloraką z wieloma regresorami, a także regresję wielomianową, w której kolejne potęgi jednej zmiennej wchodzą do modelu jako osobne regresory.
Niech dane obejmują obserwacji. Dla obserwacji model liniowy zapisuje się jako:
gdzie jest zmienną objaśnianą, wektorem zmiennych objaśniających, wektorem nieznanych parametrów, a składnikiem losowym. W zapisie macierzowym model ma postać:
Macierz nazywa się macierzą układu lub macierzą regresorów. Jeżeli model zawiera wyraz wolny, jedna z kolumn tej macierzy składa się z jedynek. Warunkiem jednoznacznego wyznaczenia klasycznego estymatora jest pełna ranga kolumnowa macierzy czyli brak doskonałej liniowej zależności między regresorami.
Estymator Dla dowolnego rozważanego wektora parametrów reszta obserwacji wynosi Klasyczna metoda najmniejszych kwadratów minimalizuje funkcję celu:
Jeżeli kolumny macierzy są liniowo niezależne, rozwiązanie jest jednoznaczne i można je zapisać jako:
Równoważnie estymator spełnia równania normalne:
Po oszacowaniu parametrów wartości dopasowane wynoszą a reszty . Z równań normalnych wynika, że reszty są ortogonalne do każdej kolumny macierzy czyli Jeżeli model zawiera wyraz wolny, jedna z tych kolumn jest wektorem jedynek, więc suma reszt jest wtedy równa zeru.
Przy wielu regresorach współczynnik stojący przy jednej zmiennej można wyznaczyć na podstawie tego, co ze zmienności tej zmiennej i zmiennej objaśnianej pozostaje po liniowym usunięciu wpływu pozostałych regresorów. Tę własność formalizuje , często wykorzystywane przy objaśnianiu regresji cząstkowej i kontroli zmiennych w modelu liniowym.
Interpretacja geometryczna mały|Interpretacja geometryczna KMNK: wektor wartości dopasowanych jest rzutem prostopadłym wektora obserwacji na podprzestrzeń rozpiętą przez kolumny macierzy a wektor reszt jest do niej ortogonalny Geometrycznie wektor wartości dopasowanych można traktować jako rzut wektora obserwacji na przestrzeń rozpiętą przez kolumny macierzy Odpowiadająca mu macierz projekcji:
bywa nazywana macierzą kapeluszową, ponieważ . Elementy diagonalne tej macierzy opisują , czyli stopień, w jakim położenie punktu w przestrzeni regresorów może wpływać na dopasowanie.
Prosta regresja liniowa mały|Prosta regresji liniowej z zaznaczonym rozkładem sumy kwadratów na część wyjaśnioną i resztową W modelu z jedną zmienną objaśniającą i wyrazem wolnym wzór estymatora KMNK przyjmuje szczególnie prostą postać. Nachylenie prostej regresji można zapisać jako:
a wyraz wolny jako . Ten przypadek dobrze oddaje ideę metody: nachylenie jest dodatnie, gdy obserwacje z większymi wartościami mają przeciętnie większe wartości a jakość dopasowania zależy od rozrzutu punktów wokół prostej.
Założenia Własności estymatora KMNK zależą od założeń o modelu i danych. Do standardowych warunków należą liniowość względem parametrów, losowy dobór próby lub odpowiednio określony mechanizm generowania danych, brak doskonałej współliniowości między regresorami, zerowa warunkowa wartość oczekiwana składnika losowego oraz skończona wariancja błędów.
Własności statystyczne mały|Systematyczny układ reszt (tu paraboliczny) wskazuje na niedopasowanie liniowej postaci modelu Przy egzogeniczności regresorów, czyli braku ich korelacji ze składnikiem losowym, oraz przy standardowych warunkach identyfikacji i regularności estymator KMNK jest zgodny: wraz ze wzrostem liczby obserwacji zbiega do prawdziwych wartości parametrów modelu. Te techniczne warunki gwarantują, że parametry da się wyznaczyć jednoznacznie, a próba nie jest zdegenerowana, czyli regresory zachowują dostateczną zmienność także przy rosnącej liczbie obserwacji. Jeżeli ponadto składnik losowy ma zerową wartość oczekiwaną warunkowo względem regresorów, jednakową wariancję i nie jest skorelowany między obserwacjami, estymator KMNK jest, jak głosi twierdzenie Gaussa-Markowa, najlepszym liniowym nieobciążonym estymatorem: ma najmniejszą wariancję w klasie liniowych nieobciążonych estymatorów.
Przy jednakowej wariancji i braku korelacji błędów, czyli macierz kowariancji estymatora warunkowo względem regresorów wynosi:
Nieznaną wariancję składnika losowego szacuje się na podstawie sumy kwadratów reszt i liczby stopni swobody gdzie oznacza liczbę kolumn macierzy :
Pierwiastki elementów diagonalnych tej estymowanej macierzy są klasycznymi błędami standardowymi oszacowanych współczynników.
W klasycznym modelu normalnym, w którym błędy warunkowo względem regresorów mają rozkład estymator KMNK pokrywa się z estymatorem największej wiarygodności dla parametrów regresji liniowej. Normalność błędów nie jest jednak potrzebna ani do samego wyznaczenia estymatora, ani do tego, by zachodziło twierdzenie Gaussa-Markowa. Założenie normalności upraszcza natomiast klasyczne wnioskowanie w małych próbach, w tym testy pojedynczych współczynników i testy łącznych ograniczeń liniowych, czyli kilku ograniczeń sprawdzanych jednocześnie.
W praktyce po oszacowaniu modelu wyznacza się również przedziały ufności, przeprowadza testy hipotez i oblicza miary dopasowania. Najczęściej używaną miarą opisową jest współczynnik determinacji który w modelu z wyrazem wolnym mierzy część zmienności zmiennej objaśnianej wyjaśnioną przez wartości dopasowane. Interpretacja wymaga ostrożności, ponieważ wysoka wartość tej miary nie dowodzi przyczynowości ani poprawności założeń modelu.
Diagnostyka i naruszenia założeń mały|Reszty regresji liniowej z niejednorodną wariancją: rozrzut punktów rośnie wraz ze zmienną objaśniającą, co jest typowym objawem heteroskedastyczności Klasyczna metoda najmniejszych kwadratów jest wrażliwa na obserwacje odstające, ponieważ duże reszty są podnoszone do kwadratu. Obserwacja może być szczególnie wpływowa, jeżeli jednocześnie ma dużą resztę i wysoką dźwignię. W diagnostyce regresji używa się w tym celu m.in. reszt standaryzowanych, wartości dźwigni i miar wpływu takich jak odległość Cooka.
Silna współliniowość regresorów może prowadzić do dużych błędów standardowych oszacowań, niestabilności znaków współczynników i trudności z oddzieleniem efektów poszczególnych zmiennych. Problem ten nie musi powodować obciążenia estymatora, ale może znacznie obniżać precyzję wnioskowania.
Heteroskedastyczność lub autokorelacja błędów wpływają na klasyczne wzory na wariancje i testy statystyczne, nawet jeżeli same oszacowania KMNK pozostają nieobciążone lub zgodne przy spełnieniu pozostałych założeń. Standardowym rozwiązaniem pierwszego z tych problemów są estymatory macierzy kowariancji odporne na heteroskedastyczność, zaproponowane m.in. przez Halberta White’a. W poprawnie zbudowanym modelu liniowym sama heteroskedastyczność sprawia, że oszacowania parametrów pozostają zgodne, lecz nieefektywne, natomiast zwykły estymator macierzy kowariancji staje się niezgodny, przez co testy hipotez prowadzą do błędnych wniosków. Zaleta odpornego estymatora polega na tym, że jest zgodny bez zakładania jakiegokolwiek formalnego modelu struktury heteroskedastyczności, działa więc również wtedy, gdy nie udało się jej usunąć przekształceniem danych.
Porównanie odpowiadających sobie elementów odpornego i zwykłego estymatora macierzy kowariancji umożliwia też bezpośredni test na heteroskedastyczność. Przy jej braku oba estymatory są w przybliżeniu równe, a w przeciwnym razie zwykle się różnią. Test dziedziczy zaletę samego estymatora: nie narzuca żadnych założeń co do postaci heteroskedastyczności.
Dla szeregów czasowych stosuje się . Najprostszy z nich sumuje próbkowe autokowariancje do zadanego rzędu i jest zgodny, ale w skończonej próbie nie musi być dodatnio półokreślony. Skutkiem tego oszacowane wariancje i statystyki testowe okazują się ujemne dla niektórych kombinacji liniowych, co zakłóca budowę przedziałów ufności i testowanie hipotez. Ważenie autokowariancji zmodyfikowanymi wagami Bartletta o postaci , malejącymi wraz z rzędem przy szerokości okna usuwa tę wadę i daje estymator z założenia dodatnio półokreślony.
Błąd pominiętej zmiennej, jednoczesność lub błędy pomiaru regresorów mogą naruszać warunek zerowej warunkowej wartości oczekiwanej składnika losowego. W takich sytuacjach estymator KMNK może być obciążony i niezgodny, a dobór rozwiązania zależy od źródła problemu. Przy korelacji regresora ze składnikiem losowym stosuje się zmienne instrumentalne. W danych panelowych, obejmujących wielokrotne obserwacje tych samych jednostek, modele z efektami stałymi pozwalają uwzględnić nieobserwowane cechy tych jednostek, niezmienne w czasie. Błędy pomiaru regresora wymagają osobnych modeli błędu pomiaru.
Obliczenia numeryczne Wzór jest wygodny teoretycznie, ale w obliczeniach numerycznych nie zaleca się bezpośredniego odwracania macierzy. W praktycznych implementacjach problem najmniejszych kwadratów rozwiązuje się często przez rozkład QR, rozkład według wartości osobliwych albo inne stabilne metody algebry liniowej.
Znaczenie tych metod rośnie, gdy liczba zmiennych jest duża, regresory są silnie skorelowane albo macierz jest źle uwarunkowana. W takich przypadkach różnice między zapisem teoretycznym a implementacją mogą wpływać na dokładność wyników, choć sama definicja estymatora KMNK pozostaje bez zmian.
Przykład Poniższy zbiór danych przedstawia średni wzrost i masę ciała amerykańskich kobiet w wieku 30–39 lat (źródło: , 1975):
+ Średni wzrost i masa ciała kobiet Wzrost (m) Masa (kg) 1,47 52,21 1,50 53,12 1,52 54,48 1,55 55,84 1,57 57,20 1,60 58,57 1,63 59,93 1,65 61,29 1,68 63,11 1,70 64,47 1,73 66,28 1,75 68,10 1,78 69,92 1,80 72,19 1,83 74,46