In statistica e apprendimento automatico la regressione logistica multinomiale è un metodo di classificazione che generalizza la regressione logistica al caso dei problemi multiclasse, cioè con più di due possibili esiti discreti. Si tratta, cioè, di un modello utilizzato per predire le probabilità dei diversi possibili valori di una variabile dipendente distribuita categoricamente, dato un insieme di variabili indipendenti (che possono essere a valori reali, a valori binari, a valori categorici, ecc.).

La regressione logistica multinomiale è nota con una varietà di altri nomi, tra cui RL politomica, RL multiclasse, regressione softmax, logit multinomiale (mlogit), classificatore di massima entropia (MaxEnt) e modello di massima entropia condizionata.

Contesto La regressione logistica multinomiale viene utilizzata quando la variabile dipendente in questione è nominale (ossia categorica, ovvero rientra in una qualsiasi delle categorie che non possono essere ordinate in qualche maniera significativa) e per la quale esistono più di due categorie.

Si tratta di problemi di classificazione statistica. Essi hanno in comune una variabile dipendente da predire, che deriva da un insieme limitato di elementi che non possono essere ordinati, e un insieme di variabili indipendenti (note anche come caratteristiche) utilizzate per prevedere la variabile dipendente. La regressione logistica multinomiale rappresenta una particolare soluzione per problemi di classificazione che utilizza una combinazione lineare delle caratteristiche osservate e alcuni parametri specifici del problema per stimare la probabilità di ciascun valore della variabile dipendente. I valori migliori dei parametri per un dato problema sono solitamente determinati da alcuni dati di addestramento.

Ipotesi Il modello logistico multinomiale presuppone che i dati siano specifici per ogni caso; ossia, ogni variabile indipendente ha un singolo valore per ogni caso. Come con altri tipi di regressione, non è necessario che le variabili indipendenti siano statisticamente indipendenti l'una dall'altra (a differenza, ad esempio, di un classificatore Bayesiano ingenuo); tuttavia, si presume che la collinearità sia relativamente bassa, poiché diversamente diventa difficile distinguere l'impatto di diverse variabili.

Se si usa il logit multinomiale per modellare le scelte, esso si basa sull'ipotesi di indipendenza delle alternative irrilevanti (IIA, acronimo in inglese), che non è sempre auspicabile. Con questa ipotesi la probabilità di preferire una classe rispetto a un'altra non dipende dalla presenza o dall'assenza di altre alternative "irrilevanti". Ad esempio, le probabilità relative di prendere un'auto o un autobus per andare al lavoro non cambiano se si aggiunge una bicicletta come possibilità aggiuntiva. Ciò consente di modellare la scelta di K alternative come un insieme di K − 1 scelte binarie indipendenti, in cui un'alternativa viene scelta come "pivot" e le altre K − 1 sono confrontate con questo, una alla volta. L'ipotesi IIA è un'assunzione fondamentale nella teoria della scelta razionale; tuttavia, numerosi studi in psicologia dimostrano che gli individui spesso violano questo presupposto quando fanno delle scelte. Un esempio di caso problematico si verifica se le scelte includono un'auto e un autobus blu. Supponiamo che il rapporto di probabilità tra i due casi sia 1. : 1. Ora, se viene introdotta l'opzione di un autobus rosso, una persona potrebbe rimanere indifferente nella scelta tra un autobus rosso e uno blu e quindi potrebbe esibire un rapporto di probabilità fra auto : autobus blu : autobus rosso di 1 : 0,5 : 0,5, mantenendo così un rapporto 1 : 1 fra auto : autobus qualsiasi mentre si adotta un rapporto modificato auto : autobus blu di 1 : 0,5. In questo caso l'opzione dell'autobus rosso non era irrilevante, perché un autobus rosso era un sostituto perfetto per l'autobus blu.

Se si usa il logit multinomiale per modellare le scelte, in alcune situazioni questo potrebbe imporre vincoli eccessivi sulle preferenze relative tra le diverse alternative. È particolarmente importante tenerne conto se l'analisi mira a prevedere come cambierebbero le scelte se un'alternativa dovesse scomparire (ad esempio se un candidato politico si ritirasse da una corsa a tre candidati). In questi casi possono essere utilizzati altri modelli, come il logit annidato o il probit multinomiale, che consentono la violazione dell'IIA.

Modello Introduzione Esistono diversi modi equivalenti per descrivere il modello matematico alla base della regressione logistica multinomiale. Ciò può rendere difficile confrontare le diverse trattazioni dell'argomento fatte in testi diversi. La regressione logistica presenta diverse formulazioni equivalenti per il caso binario, molte delle quali hanno analogie nel modello logit multinomiale.

L'idea alla base di tutte queste trattazioni, come per molte altre tecniche di classificazione statistica, è quella di costruire una funzione di predizione lineare che produca un punteggio da un insieme di pesi che vengono combinati linearmente con le variabili esplicative (caratteristiche) di una data osservazione tramite un prodotto scalare:

dove Xi è il vettore delle caratteristiche che descrivono l'osservazione i, βk è un vettore di pesi (o coefficienti di regressione) corrispondenti all'esito k e punteggio(Xi, k) è il punteggio associato all'assegnazione dell'osservazione i alla categoria k. Nella teoria della scelta discreta, in cui le osservazioni rappresentano le persone e gli esiti rappresentano le scelte, il punteggio è da considerare come l'utilità associata alla scelta dellk da parte della persona i. L'esito da predire è quello con il punteggio più alto.

La differenza tra il modello logit multinomiale e numerosi altri metodi, modelli, algoritmi, ecc. con la stessa impostazione di base (l'algoritmo del percettrone, le macchine a vettori di supporto, l'analisi discriminante lineare, ecc.) risiede nella procedura per determinare (addestrare) i pesi/coefficienti ottimali e nel modo in cui il punteggio viene interpretato. In particolare, nel modello logit multinomiale, il punteggio può essere convertito direttamente in un valore di probabilità, che indica la probabilità che di scegliere l'esito k per l'osservazione i, date le caratteristiche per essa misurate. Ciò fornisce un modo affidabile per incorporare la previsione di un particolare modello logit multinomiale in una procedura più ampia che può comportare più previsioni di questo tipo, ciascuna con una possibilità di errore. Senza questo mezzo di combinazione delle previsioni, gli errori tendono a moltiplicarsi. Ad esempio, si immagini un grande modello predittivo, suddiviso in una serie di sotto-modelli, in cui la predizione di un dato sotto-modello venga utilizzata come input per un altro sotto-modello, e tale predizione venga a sua volta utilizzata come input per un terzo sotto-modello, e così via. Se ogni sotto-modello ha un'accuratezza del 90% nelle sue predizioni e ci sono cinque sotto-modelli in serie, allora il modello complessivo ha un'accuratezza pari solo al 0,95 = 59%. Se ogni sotto-modello ha un'accuratezza dell'80%, l'accuratezza complessiva scende a 0,85 = 33%. Questo problema è noto come propagazione dell'errore ed è un problema serio nei modelli predittivi del mondo reale, che di solito sono composti da numerose parti. Predire le probabilità di ogni possibile risultato, piuttosto che semplicemente effettuare una singola predizione ottimale, è un modo per alleviare questo problema.

Impostazione La configurazione di base è la stessa della regressione logistica, con l'unica differenza che le variabili dipendenti sono categoriche anziché binarie, ovvero ci sono K possibili risultati anziché solo due. La seguente descrizione è leggermente abbreviata; per maggiori dettagli, consultare la voce sulla regressione logistica.

Dati Nello specifico, si presume di avere una serie di N punti osservati. Ogni punto i (compreso tra 1 e N ) è costituito da un insieme di M variabili esplicative x1,i ... xM,i (note anche come variabili indipendenti, o predittive, feature, ecc.) e da un risultato categorico associato Yi (noto anche come variabile dipendente o di risposta), che può assumere uno fra K possibili valori. Tali valori rappresentano categorie logicamente esclusive (ad esempio, diversi partiti politici, gruppi sanguigni, ecc.) e sono spesso descritti matematicamente assegnando arbitrariamente a ciascuna un numero da 1 a K. Le feature e il risultato rappresentano proprietà osservate dei dati e sono spesso considerati come originati dalle osservazioni di N "esperimenti", sebbene un "esperimento" possa consistere semplicemente nella raccolta di dati. L'obiettivo della regressione logistica multinomiale è costruire un modello che spieghi la relazione tra le variabili esplicative e l'esito, in modo che l'esito di un nuovo "esperimento" possa essere correttamente previsto per un nuovo punto per il quale sono disponibili i valori delle feature, ma non l'esito. Nel processo, il modello cerca di spiegare l'effetto relativo di diverse variabili esplicative sull'esito.

Alcuni esempi:

Gli esiti osservati sono diverse varianti di una malattia come l'epatite (come pure il caso di "nessuna malattia" e/o di altre malattie correlate) in un gruppo di pazienti, e le variabili esplicative potrebbero essere caratteristiche dei pazienti ritenute pertinenti (sesso, razza, età, pressione sanguigna, esiti di vari test di funzionalità epatica, ecc.). L'obiettivo è quindi predire quale malattia sta causando i sintomi epatici osservati in un nuovo paziente. I risultati osservati sono il partito scelto da un gruppo di persone in un'elezione, e le variabili esplicative sono le caratteristiche demografiche di ogni persona (ad esempio sesso, razza, età, reddito, ecc.). L'obiettivo è quindi predire il probabile voto di un nuovo elettore con determinate caratteristiche.

Predittore lineare Come in altre forme di regressione lineare, la regressione logistica multinomiale utilizza una funzione lineare di predizione al fine di predire la probabilità che l'osservazione i abbia esito k, della seguente forma:

dove è un coefficiente di regressione associato alla m-esima variabile esplicativa e al k-esimo risultato. Come spiegato nella voce sulla regressione logistica, i coefficienti di regressione e le variabili esplicative sono normalmente raggruppati in vettori di dimensione M + 1, in modo che la funzione predittiva possa essere scritta in modo più compatto come:

dove è il vettore dei coefficienti di regressione associati al risultato k, e (un vettore riga) raggruppa delle variabili esplicative associate all'osservazione i, precedute da 1 nella posizione 0.

Formulazione come insieme di regressioni binarie indipendenti Per arrivare al modello logit multinomiale, si può immaginare, per K possibili risultati, di lavorare con K modelli di regressione logistica binaria indipendenti, scegliendo un esito come "pivot" mentre sugli altri K − 1 vengono confrontati separatamente rispetto al pivot. Se si sceglie come pivot l'esito K (l'ultimo), le K − 1 equazioni di regressione saranno:

.

Questa formulazione è anche nota come trasformazione del rapporto logaritmico additivo, comunemente utilizzata nell'analisi di dati composizionali. In altre applicazioni è definita anche "rischio relativo".

Elevando a potenza entrambi i lati e trovando le probabilità, si ottiene:

Utilizzando il fatto che tutte le K probabilità devono sommare a uno, si trova che:

Possiamo usare questo per trovare le altre probabilità:

.

Il fatto che si lavori su più modelli di regressione regressioni spiega perché il modello si basi sul presupposto di indipendenza delle alternative irrilevanti descritto sopra.

Stima dei coefficienti