In apprendimento automatico e statistica, i modelli additivi costituiscono una classe di modelli di regressione non parametrica e semiparametrica in cui la variabile di risposta dipendente è espressa come somma di funzioni convesse/lisce (smooth) delle singole variabili osservate (predittori / feature).
Introdotti formalmente da Charles J. Stone nel 1985 e sviluppati ampiamente da Trevor Hastie e Robert Tibshirani nel 1990, i modelli additivi estendono il classico modello lineare standard mantenendo un'elevata interpretabilità e mitigando al contempo la cosiddetta maledizione della dimensionalità mediante la decomposizione unidimensionale del problema di stima.
Formulazione matematica
Dato un insieme di dati di addestramento , dove rappresenta il vettore dei predittori e è la variabile-obiettivo, la struttura classica del modello additivo si definisce come segue:
dove: è il termine intercetta (rappresentante il valore atteso globale sotto le opportune condizioni di identificabilità); sono funzioni non parametriche continue e "lisce" (smooth function), come spline di regressione, kernel o loess, ordinate per ciascuna variabile di indice ; è l'errore residuo con media nulla e varianza costante .
Condizione di identificabilità Poiché l'aggiunta di una costante arbitraria a una qualsiasi funzione può essere assorbita dall'intercetta , si impone la vincolo di centratura per garantire l'identificabilità del modello:
Algoritmo di stima: Backfitting
L'addestramento dei modelli additivi non parametrici avviene comunemente tramite l'algoritmo di backfitting (o retro-adattamento), un metodo iterativo di tipo Gauss-Seidel applicato all'operatore di proiezione/smoothing.
Fasi dell'algoritmo Inizializzazione: Si imposta l'intercetta al valore medio empirico:
e si inizializzano le funzioni stimate: per ogni . Ciclo iterativo: Per ciascun predittore : Si calcolano i residui parziali escludendo il contributo della -esima funzione:
Si aggiorna la funzione applicando un operatore di smoothing (ad es. una spline) ai residui parziali:
Si applica la centratura per preservare la vincolo di identificabilità:
Criterio di arresto: L'algoritmo prosegue finché la variazione tra stime successive non scende sotto una soglia prefissata :
Estensioni e varianti
Modelli Additivi Generalizzati (GAM) Sviluppati da Hastie e Tibshirani, i GAM estendono i modelli additivi alle distribuzioni appartenenti alla famiglia esponenziale (come Bernoulli, Poisson, Gamma), integrando una funzione di legame (link function) :
L'addestramento nei GAM combina l'algoritmo di backfitting con il metodo dei minimi quadrati ripesati iterativamente (IRLS - Iteratively Reweighted Least Squares) .
Modelli additivi ad albero (Gradient Boosting) Nell'apprendimento automatico, una delle declinazioni più diffuse dei modelli additivi è rappresentata dalle tecniche di gradient boosting (come, ad esempio, XGBoost, LightGBM), in cui la funzione target è approssimata da una somma additiva di alberi di decisione deboli (weak learner):
dove le sono alberi di regressione appresi sequenzialmente per minimizzare una funzione di perdita empirica.
Vantaggi e Limitazioni
Vantaggi Interpretabilità: È possibile isolare ed esaminare l'impatto individuale di ciascuna variabile predittrice sulla risposta osservando il grafico della funzione componente (grafici di dipendenza parziale). Flessibilità: Cattura relazioni complesse e non lineari senza dover specificare a priori la forma della funzione (ad es. polinomiale, logaritmica). Contrasto alla maledizione della dimensionalità: Modellando le funzioni individualmente su 1D anziché stimare una superficie ad alta dimensionalità , la velocità di convergenza è dell'ordine , dove misura la regolarità delle funzioni impiegate.
Limitazioni Assenza implicita di interazioni: Il modello assume che l'effetto delle variabili sia strettamente additivo. Se esistono interazioni forti tra predittori (ad es. ), esse devono essere incluse esplicitamente aggiungendo termini bidimensionali .
Note
Voci correlate Gradient boosting Modello lineare generalizzato Spline Statistica non parametrica
Categoria:Apprendimento automatico Categoria:Statistica multivariata