L'inferenza bayesiana è un approccio all'inferenza statistica in cui le probabilità non sono interpretate come frequenze, proporzioni o concetti analoghi, ma piuttosto come livelli di fiducia nel verificarsi di un dato evento. Il nome deriva dal teorema di Bayes, che costituisce il fondamento di questo approccio.
Il teorema di Bayes prende a sua volta il nome dal reverendo Thomas Bayes. Ad ogni modo non è chiaro se Bayes stesso sottoscriverebbe l'interpretazione della teoria della probabilità che oggi chiamiamo bayesiana.
Principi e strumenti dell'approccio bayesiano Evidenza empirica e metodo scientifico Gli statistici bayesiani sostengono che i metodi dell'inferenza bayesiana rappresentano una formalizzazione del metodo scientifico, che normalmente implica la raccolta di dati (evidenza empirica), che corroborano o confutano una data ipotesi. In questo senso, non si possono mai avere certezze riguardo a un'ipotesi, ma con l'aumentare della disponibilità di dati il grado di fiducia cambia; con sufficiente evidenza empirica, diventerà molto alto (per esempio, tendente a 1) o molto basso (tendente a 0).
Il sole è sorto e tramontato per miliardi di anni. Il sole è tramontato anche stanotte. Con un'elevata probabilità, il sole domani sorgerà.
Questo esempio è ripreso da una nota argomentazione di Pierre Simon Laplace, che pare sia giunto in maniera indipendente al risultato del teorema di Bayes.
Gli statistici bayesiani sostengono inoltre che l'inferenza bayesiana costituisca la base più logica per discriminare tra ipotesi alternative/in conflitto. Tramite tale approccio, si usa una stima del grado di fiducia in una data ipotesi prima dell'osservazione dei dati, al fine di associare un valore numerico al grado di fiducia in quella stessa ipotesi successivamente all'osservazione dei dati. Dal momento che si fonda su livelli di fiducia soggettivi, per contro, l'inferenza bayesiana non è interamente riducibile al concetto di induzione; si veda anche metodo scientifico.
Teorema di Bayes In termini più semplici, il teorema di Bayes fornisce un metodo per modificare il livello di fiducia in una data ipotesi, alla luce di nuova informazione. Denotando con l'ipotesi nulla, e con il dato empirico osservato, il teorema di Bayes può essere enunciato come:
Tralasciando l'origine dell'ipotesi nulla (che potrà essere stata formulata ab initio, o dedotta da precedenti osservazioni), essa dovrà comunque essere formulata prima dell'osservazione . Nella terminologia della statistica bayesiana, inoltre: è detta probabilità a priori di ; è detta funzione di verosimiglianza, ed è ciò su cui si fonda l'inferenza classica, o frequentista; è detta probabilità marginale, la probabilità di osservare , senza alcuna informazione pregressa; è una costante di normalizzazione; è detta probabilità a posteriori di , dato .
Il fattore di scala può essere interpretato come una misura dell'impatto che l'osservazione di ha sul grado di fiducia del ricercatore nell'ipotesi nulla, rappresentato a sua volta dalla probabilità a priori ; se è altamente inverosimile che sia osservato, a meno che non sia proprio vera, il fattore di scala sarà elevato. La probabilità (fiducia) a posteriori, di conseguenza, combina le convinzioni che il ricercatore ha a priori con quelle derivanti dall'osservazione del dato empirico.
È facile mostrare che è sempre minore o al più uguale a 1, così che le consuete proprietà della probabilità sono soddisfatte; infatti:
dunque se , , e in qualunque altro caso la probabilità a posteriori sarà strettamente minore di 1.
Probabilità oggettiva e soggettiva Alcuni statistici bayesiani ritengono che se fosse possibile assegnare alle probabilità a priori un valore oggettivo, il teorema di Bayes potrebbe essere impiegato per fornire una misura oggettiva della probabilità di un'ipotesi. Per altri, tuttavia, non sarebbe possibile assegnare probabilità oggettive; in effetti, ciò sembrerebbe richiedere la capacità di assegnare probabilità a tutte le possibili ipotesi.
In alternativa (e più spesso, nel contesto della statistica bayesiana), le probabilità si considerano una misura del grado soggettivo di fiducia da parte del ricercatore, e si suppone che restringano le potenziali ipotesi a un insieme limitato, inquadrato in un modello di riferimento. Il teorema di Bayes dovrebbe allora fornire un criterio razionale per valutare fino a che punto una data osservazione dovrebbe alterare le convinzioni del ricercatore; in questo caso tuttavia la probabilità rimane soggettiva: dunque è possibile usare il teorema per giustificare razionalmente una qualche ipotesi, ma alle spese di rifiutare l'oggettività delle affermazioni che ne derivano.
È inoltre improbabile che due individui muovano dallo stesso grado di fiducia soggettiva. I sostenitori del metodo bayesiano argomentano che, anche con probabilità a priori molto differenti, un numero sufficiente di osservazioni possa condurre a probabilità a posteriori molto vicine. Ciò presuppone che i ricercatori non rifiutino a priori le ipotesi della loro controparte, e che assegnino probabilità condizionate (funzioni di verosimiglianza) simili.
La scuola della statistica italiana ha dato importanti contributi allo sviluppo della concezione soggettiva della probabilità, tramite il lavoro di Bruno de Finetti. Sulla distinzione tra probabilità oggettiva e soggettiva, si veda anche l'articolo sulla probabilità.
Rapporto di verosimiglianza Spesso l'impatto dell'osservazione empirica può essere sintetizzato da un rapporto di verosimiglianza. Quest'ultimo può essere combinato con la probabilità a priori, per rappresentare il grado di fiducia a priori e qualunque precedente risultato empirico. Per esempio, si consideri il rapporto di verosimiglianza:
Si può riscrivere l'enunciato del teorema di Bayes come:
Sulla base di due risultati empirici indipendenti , , quanto sopra può essere sfruttato per computare la probabilità a posteriori sulla base di , e utilizzare quest'ultima come nuova probabilità a priori per calcolare una seconda probabilità a posteriori basata su . Questo procedimento è algebricamente equivalente a moltiplicare i rapporti di verosimiglianza. Dunque:
implica:
Funzione di perdita La statistica bayesiana presenta importanti collegamenti con la teoria delle decisioni; una decisione basata sul fondamento dell'inferenza bayesiana è determinata da una funzione di perdita ad essa associata. La funzione di perdita essenzialmente riflette le conseguenze negative associate alla decisione "sbagliata". Un esempio piuttosto comune, e che porta a risultati assai vicini a quelli dell'inferenza classica o frequentista, è quello della funzione di perdita quadratica.
Particolari distribuzioni a priori e a posteriori La variabile casuale Beta nell'inferenza bayesiana La variabile casuale Beta svolge un importante ruolo nell'ambito dell'inferenza bayesiana in quanto per alcune variabili casuali è sia la distribuzione a priori che la distribuzione a posteriori (con parametri diversi) dei parametri di tali variabili casuali.
Distribuzioni a priori coniugate e la variabile casuale binomiale Se è distribuita come una variabile casuale binomiale con parametri e
e il parametro è distribuito a priori come una variabile casuale Beta con i parametri e
allora il parametro è distribuito a posteriori anch'esso come una variabile casuale Beta, ma con parametri e
Qualora la distribuzione a priori sia una variabile casuale rettangolare nell'intervallo (ossia ipotizzando a priori tutti i possibili valori di equiprobabili), e pertanto e allora la distribuzione a posteriori è una Beta con parametri e
che ha come valore modale (e dunque come valore più probabile)
, che corrisponde alla stima usata in ambito frequentistico,
mentre il valore atteso, ossia la media, coincide con il valore che minimizza lo scarto quadratico: esso è
, che per è maggiore del valore modale
Variabili casuali Beta, Binomiale e Beta-Binomiale Nel caso di una variabile casuale binomiale con distribuzione a priori coniugata della , la variabile casuale che descrive la probabilità di ottenere eventi positivi su è distribuita come una variabile casuale Beta-Binomiale . La variabile casuale Beta-Binomiale entra così nella formula con la quale si determina in modo bayesiano la probabilità posteriori di un modello.
Distribuzioni a priori coniugate e la variabile casuale binomiale negativa Se è distribuita come una variabile casuale binomiale negativa con parametri e
e il parametro è distribuito a priori come una variabile casuale Beta con i parametri e
allora il parametro è distribuito a posteriori anch'esso come una variabile casuale Beta, ma con parametri e
Qualora la distribuzione a priori sia una variabile casuale rettangolare nell'intervallo (ossia ipotizzando a priori tutti i possibili valori di equiprobabili), e pertanto e allora la distribuzione a posteriori è una Beta con parametri e che ha come valore modale (e dunque come valore più probabile):
La variabile casuale Gamma nell'inferenza bayesiana La variabile casuale Gamma svolge un importante ruolo nell'ambito dell'inferenza bayesiana in quanto per alcune variabili casuali è sia la distribuzione a priori che la distribuzione a posteriori (con parametri diversi) dei parametri di tali variabili casuali.
Distribuzioni a priori coniugate e la stessa variabile casuale Gamma Se è distribuita come una variabile casuale Gamma con parametri e
e il parametro è distribuito a priori a sua volta come una variabile casuale Gamma con i parametri e
allora il parametro è distribuito a posteriori anch'esso come una variabile casuale Gamma, ma con parametri e
Distribuzioni a priori coniugate e la variabile casuale di Poisson Se è distribuita come una variabile casuale di Poisson con parametro
e il parametro è distribuito a priori come una variabile casuale Gamma con i parametri e
allora il parametro è distribuito a posteriori anch'esso come una variabile casuale Gamma, ma con parametri e
Variabili casuali Poissoniana, Gamma e Poisson-Gamma Nel caso che la distribuzione a priori coniugata di una variabile casuale di Poisson sia una variabile casuale Gamma, allora la probabilità che si realizzino eventi è distribuita come una variabile casuale Poisson-Gamma. La Poisson-Gamma entra così nella formula con la quale si determina in modo bayesiano la probabilità di un modello dopo aver conosciuto i dati.
Variabili casuali esponenziale, Gamma e Gamma-Gamma Nel caso che la distribuzione a priori coniugata di una variabile casuale esponenziale sia una variabile casuale Gamma, allora la funzione di densità di probabilità è distribuita come una variabile casuale Gamma-Gamma.
Distribuzioni a priori coniugate e la variabile casuale normale Variabile casuale Gamma come priori coniugati della variabile casuale normale Se è distribuita come una variabile casuale normale con parametri e
e il parametro è distribuito a priori come una variabile casuale Gamma con i parametri e
allora il parametro è distribuito a posteriori anch'esso come una variabile casuale Gamma, ma con parametri e
Distribuzioni a priori coniugate normali di una normale Se è distribuita come una variabile casuale normale con parametri e
e il parametro è distribuito a priori come una variabile casuale normale con i parametri e
allora il parametro è distribuito a posteriori anch'esso come una variabile casuale normale, ma con parametri e
La variabile casuale Dirichlet come distribuzione a priori coniugata della multinominale Se è distribuita come una variabile casuale multinomiale
e la distribuzione a priori di è una variabile casuale di Dirichlet
allora la distribuzione a posteriori di è anch'essa una variabile casuale di Dirichlet, ma con nuovi parametri
L'uniforme discreta nel caso di estrazione semplice Se è distribuita come in seguito ad una estrazione semplice di una popolazione dicotomica