La regressione formalizza e risolve il problema di una relazione funzionale tra variabili misurate sulla base di dati campionari estratti da un'ipotetica popolazione infinita. Originariamente Galton utilizzava il termine come sinonimo di correlazione, tuttavia oggi in statistica l'analisi della regressione è associata alla risoluzione del modello lineare. Per la loro versatilità, le tecniche della regressione lineare trovano impiego nel campo delle scienze applicate: astronomia, chimica, geologia, biologia, fisica, ingegneria, medicina, nonché nelle scienze sociali: economia, linguistica, psicologia e sociologia.

Più formalmente, in statistica la regressione lineare rappresenta un metodo di stima del valore atteso condizionato di una variabile dipendente, o endogena, , dati i valori di altre variabili indipendenti, o esogene, : . L'uso dei termini endogeno/esogeno è talvolta criticato, in quanto implicherebbe una nozione di causalità che l'esistenza di una regressione non prevede; in determinati contesti, provocherebbe inoltre confusione, essendo ad esempio il concetto di esogeneità in econometria formalmente definito tramite l'ipotesi di ortogonalità alla base delle proprietà statistiche della regressione lineare col metodo dei minimi quadrati.

Origini storiche La prima, e ancora popolare, forma di regressione lineare è quella basata sul metodo dei minimi quadrati (si veda oltre). La prima pubblicazione contenente un'applicazione del metodo nota è datata 1805, a nome di Adrien-Marie Legendre; Carl Friedrich Gauss elabora indipendentemente lo stesso metodo, pubblicando le sue ricerche nel 1809. Sebbene Gauss sostenne di avere sviluppato il metodo sin dal 1795, la paternità delle sue applicazioni in campo statistico è normalmente attribuita a Legendre; lo stesso termine minimi quadrati deriva dall'espressione francese, utilizzata da Legendre, moindres carrés.

Sia Gauss che Legendre applicano il metodo al problema di determinare, sulla base di osservazioni astronomiche, le orbite di corpi celesti intorno al sole. Eulero aveva lavorato allo stesso problema, con scarso successo, nel 1748. Nel 1821 Gauss pubblica un ulteriore sviluppo del metodo dei minimi quadrati, proponendo una prima versione di quello che è oggi noto come teorema di Gauss-Markov.

L'origine del termine regressione è storicamente documentata. L'espressione reversione era usata nel XIX secolo per descrivere un fenomeno biologico, in base al quale la progenie di individui eccezionali tende in media a presentare caratteristiche meno notevoli di quelle dei genitori, e più simili a quelle degli antenati più remoti. Francis Galton studiò tale fenomeno, applicandovi il termine, forse improprio, di regressione verso la media (o la mediocrità).

Per Galton l'espressione regressione ha solo tale significato, confinato all'ambito biologico. Il suo lavoro (1877, 1885) fu in seguito esteso da Karl Pearson e George Udny Yule a un contesto statistico più generale (1897, 1903); i lavori di Pearson e Yule ipotizzano che la distribuzione congiunta delle variabili dipendenti e indipendenti abbia natura gaussiana. Tale ipotesi è in seguito indebolita da Ronald Fisher, in lavori del 1922 e 1925. Fisher in particolare ipotizza che la distribuzione condizionata della variabile dipendente sia gaussiana, il che non implica necessariamente che così sia per quella congiunta di variabili dipendenti e indipendenti. Sotto tale profilo, la formulazione di Fisher è più vicina a quella di Gauss del 1821.

Regressione lineare semplice Definizione Il modello di regressione lineare è:

dove: varia tra le osservazioni, ; è la variabile dipendente; è la variabile indipendente o regressore; è la retta di regressione o funzione di regressione della popolazione; è l'intercetta della retta di regressione della popolazione; è il coefficiente angolare della retta di regressione della popolazione; è l'errore statistico.

Possiede delle peculiari assunzioni OLS.

Illustrazione del metodo Per ogni osservazione campionaria si dispone di una determinazione e di determinazioni non stocastiche . Si cerca quindi una relazione di tipo lineare tra la variabile e le variabili deterministiche. Una prima analisi può essere condotta considerando un modello semplice a due variabili (si suppone in pratica che sia uguale a ). Un tipico esempio è riscontrabile dall'esperienza economica considerando la relazione tra Consumi () e Reddito (). Ricercando una relazione funzionale in cui i consumi siano "spiegati" dal reddito si può ricorrere alla relazione lineare:

generica relazione che caratterizza i consumi; relazione lineare;

dove rappresenta l'intercetta e la pendenza della retta interpolatrice.

Stime dei parametri nel caso bivariato Generalizzando il problema a due variabili e , scriveremo:

è una generica funzione di e comunemente si assume . Ponendo tale condizione la formula diviene:

Quindi la variabile dipendente viene "spiegata" attraverso una relazione lineare della variabile indipendente (cioè: ) e da una quantità casuale .

Il problema della regressione si traduce nella determinazione di e in modo da esprimere al ‘meglio' la relazione funzionale tra e . Per avvalorare di un significato statistico la scelta dei coefficienti occorre realizzare alcune ipotesi sul modello lineare di regressione: è una variabile deterministica;

costante per ogni

Date queste ipotesi si calcolano i coefficienti e secondo il metodo dei minimi quadrati (in inglese Ordinary Least Squares, o OLS, da cui il riferimento agli stimatori di seguito ottenuti come agli stimatori OLS) proposto da Gauss; detta:

le stime si ottengono risolvendo:

Le soluzioni si ricavano uguagliando a zero le derivate parziali di rispetto ad e :

Dove denota il numero delle osservazioni.

Separando le sommatorie per isolare i termini e , si ottiene:

da cui si ricavano le soluzioni:

Per il calcolo effettivo di e , possiamo introdurre il concetto di medie aritmetiche e rispettivamente dei valori e e il concetto di scarti dei valori delle medie aritmetiche, per cui posto:

si ha:

Sostituendo nella seconda equazione dei sistema, si ottiene quanto segue:

mentre dalla prima equazione:

Essendo la varianza osservata data da

e la covarianza osservata da

i parametri e si possono scrivere nella forma

Infine, sostituendo nell'equazione della retta di regressione , otteniamo la seguente espressione:

da cui si deduce che la retta passa per il punto le cui coordinate sono le medie aritmetiche.

Correlazione Invertendo il ruolo di e , possiamo ottenere la retta di regressione di rispetto a :

Le due rette di regressione e sono in relazione tra loro.

Le due rette coincidono quando tutti i punti del diagramma a dispersione appartengono ad una stessa retta, mentre quanto maggiore è la dispersione tanto maggiore è l'angolo che esse formano.

La misura dell'intensità e del legame di correlazione tra le due variabili è rappresentata dal coefficiente di correlazione lineare di Bravais-Pearson:

media geometrica dei due coefficienti di regressione, preceduta dal segno se i due coefficienti sono positivi, dal segno se sono negativi.

Riprendendo i concetti di varianza e covarianza introdotti in precedenza, essa può anche essere espressa come:

Giustificazione probabilistica del metodo di regressione con i minimi quadrati Si consideri il seguente problema teorico: date due variabili casuali e , quale è il "migliore" stimatore per il valore atteso di , ossia quale stimatore presenta lo scarto quadratico medio (o MSE, dall'inglese Mean Squared Error) minimo?

Se si utilizza uno stimatore affine che sfrutta l'informazione relativa alla variabile casuale allora , è possibile dimostrare che lo scarto quadratico medio è minimizzato se:

Tale osservazione fornisce una giustificazione di tipo probabilistico alle espressioni proposte sopra; si veda oltre per un'analisi formale, nel caso multivariato.

Osservazioni sul metodo di stima Il metodo dei minimi quadrati è esaminato nel caso bivariato, deriva una retta che interpola uno scatter di punti minimizzando la somma dei quadrati delle distanze dei punti stessi dalla retta; il grafico fornisce un'intuizione del procedimento.

La scelta di minimizzare i quadrati degli non è arbitraria. Facendo ad esempio riferimento alla semplice somma degli , distanze positive (verso l'alto) e negative (verso il basso) si compenserebbero, rendendo in generale peggiore la qualità dell'interpolazione; se per contro si adottasse una funzione criterio uguale alla somma dei valori assoluti degli , non essendo la funzione valore assoluto derivabile su tutto l'asse reale non si potrebbe ricorrere all'elegante metodo di minimizzazione sopra illustrato.

Si osservi inoltre che gli rappresentano una distanza di un tipo alquanto particolare. In geometria la distanza di un punto da una retta è infatti data dalla lunghezza del segmento che unisce il punto alla retta, perpendicolare a quest'ultima; evidentemente non è questo il caso degli . La scelta operata trova giustificazione nelle proprietà statistiche delle stime, illustrate in seguito: la particolare forma degli stimatori dei minimi quadrati sopra ottenuti consente un più semplice trattamento delle loro proprietà statistiche.

Due parole infine sul significato di regressione "lineare". Il nome di questa tecnica statistica non significa che nella funzione stimata la variabile dipendente è una funzione lineare della(e) variabile(i) esplicativa(e) , ma dei parametri oggetto di stima ( e sopra). La stima di una funzione del tipo:

rientra nel raggio d'azione del modello lineare, dal momento che è una funzione lineare dei parametri , , . Per ulteriori considerazioni al riguardo, si veda l'articolo Regressione nonlineare.

Regressione lineare multipla Il metodo sopra illustrato può essere esteso al caso in cui più variabili contribuiscono a spiegare la variabile dipendente :

dove: varia tra le osservazioni, ; è il valore -esimo della variabile dipendente; sono le -esime osservazioni di ciascuno dei regressori; è liperpiano di regressione; è il valore atteso di quando tutte le sono uguali a zero (cioè è l'intercetta); è il coefficiente angolare di , è il coefficiente angolare di , (tenendo costanti gli non presi in considerazione), ecc. è l'errore statistico.

Possiede delle peculiari assunzioni OLS.

Raggruppando le osservazioni delle variabili esplicative in una matrice di dimensioni , che si ipotizza avere rango pieno e uguale a (il termine costante, o intercetta, corrisponde ad avere una colonna di nella ), è possibile scrivere, in notazione matriciale:

Nella formulazione più elementare, si assume che , ossia: (omoschedasticità), (assenza di correlazione nei disturbi). Si ipotizza inoltre che:

ossia che non vi sia correlazione tra i regressori e i disturbi casuali — quest'ipotesi riveste un'importanza cruciale, in quanto rende possibile considerare i regressori compresi nella matrice come variabili esogene (da cui il nome con cui l'ipotesi è spesso indicata: ipotesi di esogeneità). Quest'ultima proprietà è tutt'altro che banale, in quanto soltanto laddove essa è valida è possibile garantire che il vettore di stime dei parametri del modello, , abbia per valore atteso il vero valore dei parametri (godendo così della proprietà di correttezza; si veda oltre).

Sotto tali ipotesi, è possibile ottenere le stime del vettore di parametri tramite il metodo dei minimi quadrati risolvendo il problema di minimo:

Le condizioni del primo ordine per un minimo definiscono il sistema (detto delle equazioni normali):

da cui:

Per le proprietà della forma quadratica minimizzanda, si è certi che la soluzione trovata corrisponde a un minimo, non solo locale ma globale.

Interpretazione geometrica delle stime OLS

Il vettore di stime OLS consente di ottenere i valori previsti ("teorici") per la variabile dipendente: