Il criterio informativo di Akaike (in inglese Akaike's information criterion, indicato come AIC), è un metodo per la valutazione e il confronto tra modelli statistici sviluppato dal matematico giapponese Hirotsugu Akaike nel 1971 e presentato alla comunità scientifica nel 1974. Esso fornisce una misura della qualità della stima di un modello statistico tenendo conto sia della bontà dell'adattamento del modello ai dati sia della sua complessità.

Esso è basato sul concetto di entropia come misura di informazione, tramite la quale valuta la quantità di informazione persa quando un dato modello è usato per descrivere i dati.

La regola è quella di preferire i modelli con l'AIC più basso.

Tale criterio di valutazione risulta molto utile in quanto permette di confrontare tra loro anche modelli non annidati.

Definizione L'AIC mira a trovare un compromesso tra la qualità dell'adattamento del modello stimato e la sua complessità (numero di parametri), bilanciando sotto- e sovradattamento, penalizzando i modelli con troppi parametri.

Nel caso generale esso è definito nel modo seguente

dove è il numero di parametri nel modello statistico e è il valore che massimizza la funzione di verosimiglianza del modello stimato.

Dato un insieme di modelli candidati per i dati, il modello da preferire è quello con il valore AIC minimo. Pertanto, l’AIC premia la qualità dell’adattamento (valutata dalla funzione di verosimiglianza), ma include anche una penalità che è funzione crescente rispetto al numero di parametri stimati. La penalità scoraggia il sovradattamento, il che è auspicabile poiché aumentare il numero di parametri nel modello migliora quasi sempre la qualità dell’adattamento.

Supponendo che i dati siano generati da un processo sconosciuto, si considerino due modelli candidati a rappresentare : e . Se conoscessimo , potremmo determinare l’informazione persa utilizzando per rappresentare calcolando la divergenza di Kullback–Leibler, ; analogamente, l’informazione persa utilizzando per rappresentare potrebbe essere determinata calcolando . In generale, si sceglierebbe quindi il modello candidato che minimizza la perdita di informazione. Non si può scegliere con certezza, poiché non si conosce . Akaike ha tuttavia dimostrato che, tramite l’AIC, è possibile stimare quanta informazione venga persa con rispetto a . La stima, tuttavia, è asintotica; se il numero di dati a disposizione è limitato, spesso è necessaria una correzione.

Si noti che l’AIC non fornisce alcuna indicazione sulla qualità assoluta di un modello, ma solo sulla sua qualità rispetto ad altri modelli. Pertanto, se tutti i modelli candidati presentano uno scarso adattamento, l’AIC non potrà segnalare il problema. Di conseguenza, dopo aver selezionato un modello tramite l’AIC, è buona norma verificare la qualità assoluta del modello (cfr. convalida dei modelli statistici). Tale verifica richiede tipicamente il controllo dei residui del modello (per determinare se i residui appaiono casuali) e la verifica delle predizioni effettuate sulla base del modello.

Note

Bibliografia Akaike, H. (1973), "Information theory and an extension of the maximum likelihood principle", in Petrov, B. N.; Csáki, F. (a cura di), 2nd International Symposium on Information Theory, 1971, Budapest: Akadémiai Kiadó, pp. 267–281. Ripubblicato in Kotz, S.; Johnson, N. L., (a cura di). (1992), Breakthroughs in Statistics. Vol II, pp 610–624. Springer Series in Statistics. Springer, DOI: 10.1007/978-1-4612-0919-5_38

Voci correlate Hirotsugu Akaike Criterio di informazione Bayesiano

Categoria:Analisi di regressione Categoria:Apprendimento automatico