right|thumb|Rezultat uklapanja skupa tačaka podataka sa kvadratnom funkcijom thumb|Konično uklapanje skupa tačaka koristeći aproksimaciju najmanjih kvadrata
Metod najmanjih kvadrata je metod procene parametara u regresionoj analizi zasnovan na minimizovanju zbira kvadrata ostataka (ostatak je razlika između posmatrane vrednosti i prilagođene vrednosti koju daje model) napravljenih u rezultatima svake pojedinačne jednačine. (Jednostavnije, najmanji kvadrati su matematički postupak za pronalaženje krive koja najbolje odgovara datom skupu tačaka minimizovanjem zbira kvadrata pomaka („ostataka“) tačaka od krive.)
Najvažnija primena je u uklapanju podataka. Kada problem ima značajne nesigurnosti u nezavisnoj promenljivoj (promenljiva x), onda jednostavne metode regresije i metode najmanjih kvadrata imaju probleme; u takvim slučajevima, metodologija potrebna za uklapanje modela grešaka u promenljivim može se uzeti u obzir umesto one za najmanje kvadrate.
Problemi najmanjih kvadrata spadaju u dve kategorije: linearni ili obični najmanji kvadrati i nelinearni najmanji kvadrati, u zavisnosti od toga da li su funkcije modela linearne u svim nepoznatim. Problem linearnih najmanjih kvadrata javlja se u statističkoj regresionoj analizi; ima rešenje zatvorenog oblika. Nelinearni problem se obično rešava iterativnim prečišćavanjem; na svakoj iteraciji sistem se aproksimira linearnim, tako da je proračun jezgra sličan u oba slučaja.
Polinomni najmanji kvadrati opisuju varijansu u predviđanju zavisne promenljive kao funkcije nezavisne promenljive i odstupanja od postavljene krive.
Kada zapažanja dolaze iz eksponencijalne porodice sa identitetom kao što je njena prirodna dovoljna statistika i blagi uslovi su zadovoljeni (npr. za normalnu, eksponencijalnu, Poasonovu i binomnu raspodelu), standardizovane procene najmanjih kvadrata i procene maksimalne verovatnoće su identične. Metod najmanjih kvadrata se takođe može izvesti kao metod procene momenata.
Sledeća diskusija je uglavnom predstavljena u vidu linearnih funkcija, ali je upotreba najmanjih kvadrata validna i praktična za opštije porodice funkcija. Takođe, iterativnom primenom lokalne kvadratne aproksimacije na verovatnoću (preko Fišerove informacije), metoda najmanjih kvadrata se može koristiti za uklapanje u generalizovani linearni model.
Metod najmanjih kvadrata zvanično je otkrio i objavio Adrijen-Mari Ležandr (1805),Mansfield Merriman, "A List of Writings Relating to the Method of Least Squares" iako se obično pripisuje i Karlu Fridrihu Gausu (1809), koji je doprineo značajnim teorijskim naprecima metoda, i možda ga je takođe koristio u svojim ranijim radovima 1794. i 1795. godine.
Reference
Literatura
Spoljašnje veze
Категорија:Мултиваријантна статистика Категорија:Регресиона анализа Категорија:Оптимизациони алгоритми и методи