miniatura|Exemplu de regresie liniară simplă cu o variabilă independentă. În statistică regresia liniarăTeodor Silviu Groșan, Regresii liniare (curs), Universitatea Babeș-Bolyai, accesat 2023-06-06, citând pe Steven C. Chapra, Applied Numerical Methods with MATLAB for Engineers and Scientists, 3rd ed., este o abordare pentru modelarea relației dintre un răspuns scalar și una sau mai multe variabile predictoare (de asemenea cunoscute ca de intrare, explicative sau Daniela Zaharie, Modele de regresie neliniară (curs), Universitatea de Vest din Timișoara, accesat 2023-06-08). Cazul unei singure variabile predictoare se numește . Pentru mai multe variabile procesul se numește regresie liniară multiplă, pe scurt regresie liniară.
Acest termen este diferit de , unde sunt prezise mai multe variabile dependente corelate în loc de o singură variabilă scalară. .
În regresia liniară, relațiile sunt modelate folosind ale căror parametri necunoscuți sunt estimați din date. Astfel de modele se numesc modele liniare. Cel mai frecvent, a răspunsului dat de valorile variabilelor explicative (sau a predictoarelor) se presupune a fi o a acelor valori; mai rar se folosește mediana condiționată sau o altă . La fel ca toate formele de analiza de regresie, regresia liniară se concentrează pe a răspunsului dat de valorile predictoarelor, mai degrabă decât pe a tuturor acestor variabile, care este domeniul analizei multivariate.
Regresia liniară a fost primul tip de analiză de regresie care a fost studiată riguros și care a fost utilizată pe scară largă în aplicații practice. Acest lucru se datorează faptului că modelele care depind liniar de parametrii lor necunoscuți sunt mai ușor de adaptat decât modelele care sunt legate neliniar de parametrii lor și deoarece proprietățile statistice ale funcțiilor de estimare rezultate sunt mai ușor de determinat.
Regresia liniară are multe utilizări practice. Majoritatea aplicațiilor se încadrează în una dintre următoarele două mari categorii: Dacă scopul este reducerea erorilor în prognoze, regresia liniară poate fi utilizată pentru a potrivi un model predictiv la un set de date observate, de valori ale răspunsului și variabile predictoare. După dezvoltarea unui astfel de model, dacă sunt colectate valori suplimentare ale variabilelor predictoare fără a obține și valorile de răspuns însoțitoare, modelul ajustat poate fi utilizat pentru a face o predicție a răspunsului. Dacă scopul este de a explica variația variabilei de răspuns care poate fi atribuită variației variabilelor predictoare, analiza de regresie liniară poate fi aplicată pentru a cuantifica cât de strânsă este relația dintre răspuns și variabilele prezise (de răspuns, explicate sau ) și, în special, pentru a determina dacă unele variabile predictoare pot să nu aibă deloc o relație liniară cu răspunsul sau să identifice ce subseturi de variabile predictoare pot conține informații redundante despre răspuns.
Modelele de regresie liniară sunt adesea ajustate folosind metoda celor mai mici pătrate, dar ele pot fi ajustate și în alte moduri, cum ar fi minimizând „lipsa de potrivire” în altă normă. Însă metoda celor mai mici pătrate poate fi utilizată pentru a se realiza și modele care nu sunt liniare. Astfel, deși termenii „cele mai mici pătrate” și „model liniar” sunt strâns legați, ei nu sunt sinonimi.
Istoric Regresia liniară cu cele mai mici pătrate, ca mijloc de a găsi o potrivire liniară brută bună la un set de puncte, a fost efectuată de Adrien-Marie Legendre (1805) și Carl Friedrich Gauss (1809) pentru predicția mișcării planetelor. Adolphe Quetelet a fost cel care a elaborat procedura binecunoscută și a folosit-o pe scară largă în științele sociale.
Formulare thumb|În regresia liniară, se presupune că observațiile (roșu) sunt rezultatul abaterilor aleatorii (verde) dintr-o relație de bază (albastru) între o variabilă dependentă (y) și o variabilă independentă (x) Fiind dat un set de date de n unități statistice, un model de regresie liniară presupune că relația dintre variabila dependentă y și vectorul variabilei independente x este liniară. Această relație este modelată printr-un termen de perturbare sau variabilă de eroare ε — o variabilă aleatoare neobservată care adaugă „zgomot” relației liniare dintre variabila dependentă și cea independentă. Astfel modelul ia forma
unde cu T este notată transpusa, astfel că xiTβ este s the produsul scalar între vectorii xi și β.
Adesea, aceste ecuații sunt aranjate împreună și scrise sub formă matricială drept
unde
Notație și terminologie este vectorul cu valorile observate ale variabilei măsurate (). Această variabilă este uneori cunoscută și ca variabila prezisă, dar aceasta nu trebuie confundată cu valorile prezise, care sunt notate . Decizia cu privire la care variabilă dintr-un set de date este modelată ca variabilă dependentă și care sunt modelate ca variabile independente se poate baza pe presupunerea că valoarea uneia dintre variabile este cauzată de sau direct influențată de celelalte variabile. Alternativ, poate exista un motiv operațional pentru a modela una dintre variabile în termenii celorlalte, caz în care nu trebuie să existe prezumția de cauzalitate. poate fi văzută ca o matrice de vectori linie sau de vectori coloană n-dimensionali , care sunt cunoscuți ca predictoare (de intrare, explicative sau independente) (a nu se confunda cu conceptul de variabile aleatoare independente). De obicei între valorile predictoare este inclusă o constantă, în special pentru . Elementul corespunzător din β se numește interceptor. Multe proceduri de inferență statistică pentru modele liniare necesită ca o interceptare să fie prezentă, deci este adesea inclusă chiar dacă considerente teoretice sugerează că valoarea sa ar trebui să fie zero. Uneori, una dintre variabilele de intrare poate fi o funcție neliniară a altei funcții de intrare sau a datelor, ca în și . Modelul rămâne liniar atâta timp cât este liniar în vectorul parametru β. Valorile xij pot fi văzute fie ca valori observate ale variabilelor aleatoare Xj, fie ca valori fixe alese înainte de observarea variabilei dependente. Ambele interpretări pot fi adecvate în diferite cazuri și, în general, conduc la aceleași proceduri de estimare. Totuși, în aceste două situații sunt utilizate abordări diferite ale analizei asimptotice. este un vector de parametri (p+1)-dimensional, unde este termenul de interceptare (dacă unul este inclus în model — în caz contrar, este p-dimensional). Elementele sale sunt cunoscute ca efecte sau coeficienții regresiei (deși ultimul termen este uneori rezervat efectelor „estimate”). În , p = 1, iar coeficientul este cunoscut sub numele de panta regresiei. Elementele acestui vector parametru sunt interpretate ca derivatele parțiale ale variabilei dependente în raport cu diferitele variabile independente. este un vector de valori . Această parte a modelului este numită termenul de eroare, termenul de perturbare (sau, uneori, zgomot, în contrast cu semnalul oferit de restul modelului). Această variabilă surprinde toți ceilalți factori care influențează variabila dependentă y în afară de predictorii x. Relația dintre termenul de eroare și predictori, de exemplu corelația acestora, este o considerație esențială în formularea unui model de regresie liniară, deoarece va determina metoda de estimare adecvată.
Ajustarea unui model liniar la un set de date dat necesită de obicei estimarea coeficienților de regresie astfel încât termenul de eroare este minimizat. De exemplu, pentru minimizare este uzuală folosirea sumei pătratelor erorilor ca măsură a .
Exemplu Fie o situație în care o minge mică este aruncată în aer și apoi se măsoară înălțimile la care sare în diferite momente în timp . Fizica afirmă că, ignorând rezistența aerului, relația poate fi modelată drept
unde 1 determină viteza inițială a mingii, 2 este proporțională cu gravitația standard și se datorează erorilor de măsurare. Regresia liniară poate fi utilizată pentru a estima valorile lui 1 și 2 din datele măsurate. Acest model este neliniar în variabila timp, dar este liniar în parametrii 1 și 2. Dacă se iau ca variabile predictoare xi = (xi1, xi2) = (ti, t' „i”2), modelul ia forma standard
Presupuneri Modelele standard de regresie liniară cu tehnici standard de estimare fac o serie de ipoteze despre variabilele predictoare, variabilele de răspuns și relația lor. Au fost dezvoltate numeroase extensii care permit fiecăreia dintre aceste ipoteze să fie relaxate (adică reduse la o formă mai slabă) și, în unele cazuri, eliminate complet. În general, aceste extensii fac procedura de estimare mai complexă și mai consumatoare de timp și pot necesita, de asemenea, mai multe date pentru a produce un model la fel de precis.
thumb|upright=2|Exemplu de regresie polinomială cubică, care este un tip de regresie liniară. Deși regresia polinomială se potrivește cu datele unui model neliniar, ca problemă de estimare statistică este liniară, în sensul că funcția de regresie este liniară în parametrii necunoscuți, care sunt estimați din date. Din acest motiv, regresia polinomială este considerată a fi un caz particular de regresie liniară multiplă.—– realitatea, —– estimarea, —– limitele corelației. Ipotezele majore făcute în cadrul modelelor standard de regresie liniară cu tehnici standard de estimare (de exemplu metoda celor mai mici pătrate simplă): Exogenitate slabă. Acest lucru înseamnă în esență că variabilele predictoare x pot fi tratate ca valori fixe, în loc de variabile aleatoare. Aceasta înseamnă, de exemplu, că se presupune că variabilele predictoare sunt lipsite de erori, adică nu sunt afectate de erori de măsurare. Deși în multe cazuri această ipoteză nu este realistă, renunțarea ei duce la modele de erori în variabile semnificativ mai dificile. Liniaritate. Aceasta înseamnă că media variabilei de răspuns este o combinație liniară a parametrilor (coeficienții de regresie) și a variabilelor predictoare. Această ipoteză este mult mai puțin restrictivă decât poate părea la prima vedere. Deoarece variabilele predictoare sunt tratate ca valori fixe (vezi mai sus), liniaritatea este de fapt doar o restricție asupra parametrilor. Variabilele predictoare în sine pot fi transformate în mod arbitrar și, de fapt, pot fi adăugate mai multe copii ale aceleiași variabile predictoare subiacente, fiecare transformată diferit. Această tehnică este utilizată, de exemplu, în regresia polinomială, care utilizează regresia liniară pentru a ajusta variabila de răspuns ca o funcție polinomială arbitrară (până la un grad dat) a unei variabile predictoare. Cu atâta flexibilitate, modelele precum regresia polinomială au adesea „prea multă putere”, în sensul că au tendința de a supraadapta datele. Ca rezultat, de obicei trebuie utilizată un fel de regularizare pentru a preveni soluțiile nerezonabile care rezultă din procesul de estimare.