La crisi della replicazione (chiamata anche crisi della replicabilità e crisi della riproducibilità) è una crisi metodologica per cui è stato riscontrato come molti risultati sperimentali siano difficili o impossibili da replicare o riprodurre. La crisi della replicazione colpisce più gravemente le scienze sociali e la medicina, mentre i dati delle rilevazioni indicano fortemente che anche tutte le scienze naturali sono probabilmente implicate. La frase è stata coniata nei primi anni 2010 come parte di una crescente consapevolezza del problema. La crisi della replicazione rappresenta un importante corpo di ricerca nel campo delle metascienze.
Poiché la riproducibilità dei risultati sperimentali è una parte essenziale del metodo scientifico,Staddon, John (2017). Scientific Method: How Science Works, Fails to Work or Pretends to Work. Taylor and Francis. l'incapacità di replicare gli studi di altri ha conseguenze potenzialmente gravi per molti campi della scienza in cui teorie significative sono fondate su un lavoro sperimentale irriproducibile. La crisi della replicazione è stata ampiamente discussa nei campi della medicina, dove sono stati fatti numerosi sforzi per riesaminare i risultati classici, per determinare sia l'attendibilità dei risultati sia, se ritenuto inattendibile, le ragioni del fallimento nel replicare.
Replicazione sperimentale: definizione, tipi e funzioni.
Definizione e criteri di replicazione Il concetto di replicazione può essere generalmente definito come uno strumento metodologico basato sulla ripetizione di un esperimento al fine di stabilire un certo fatto, verità o un elemento di conoscenza scientifica. In una replicazione, la ripetizione di una data procedura sperimentale viene operata su un campione di dati diverso dall’esperimento originale, in maniera tale da testare l’affidabilità dei risultati di quest’ultimo. In questo senso, la replicazione si può differenziare dalla riproduzione, in quanto la seconda viene definita come una procedura volta al ripetere lo stesso processo di analisi sugli stessi dati dell’originale. La replicazione si differenzia anche da un test di “robustezza”, che è invece volto all’analizzare gli stessi dati con una strategia di analisi sufficientemente diversa da quella usata nell'esperimento originale.
Generalmente, nel decidere se un esperimento sia stato replicato con successo, questa decisione si conforma spesso come un giudizio dicotomico di tipo “replicato/non replicato”. Per esempio, nel contesto di un test di verifica d’ipotesi, la replicazione di risultati trovati in precedenza avviene quando i risultati ottenuti in uno studio di replicazione sono statisticamente significativi nella direzione prevista dallo studio originale. In generale, non vi è consenso nella comunità scientifica su un singolo criterio per stabilire se i risultati di un esperimento siano stati replicati o meno, e molto spesso, i progetti di replicazione usano una molitudine di parametri per stabilire se un certo esperimento sia stato replicato con successo.
La definizione di cosa implichi esattamente “ripetere un esperimento” è ancora un concetto molto discusso nel campo delle metascienze, specialmente quando applicato alle scienze psicologiche. In generale vi è accordo sul fatto che, in diverse discipline scientifiche, non sia possibile riprodurre un esperimento tale e quale all’originale (ciò che viene talvolta definita come una “replicazione esatta”).
Tipi di replicazione Un numero di tassonomie è stato sviluppato con l’obbiettivo di definire diversi tipi di replicazione sperimentale. Comunemente, una distinzione molto spesso usata è quella tra i seguenti tipi:
Replicazione diretta - Una replicazione viene definita come “diretta” se sufficientemente simile all’esperimento originale da un punto di vista metodologico, in maniera tale da aspettarsi legittimamente di ottenere gli stessi risultati. Più nello specifico, una replicazione diretta può essere intesa come un esperimento che ripete le caratteristiche cruciali per riprodurre un certo effetto o fenomeno. Le caratteristiche cruciali per la produzione di un certo effetto sono a loro volta basate sulla comprensione teorica dell’effetto stesso. Replicazione concettuale - Una replicazione viene definita come “concettuale” nel momento in cui si testa una certa ipotesi già testata in precedenza con significative variazioni metodologiche. Un esempio di variazione metodologica significativa può essere l’utilizzo di una diversa operazionalizzazione delle variabili indipendenti e dipendenti nello studio di replicazione rispetto all’originale.
Allo stesso tempo, altre tassonomie sono state proposte, come quella del metascienziato Etienne Lebel e colleghi, che vede la differenza tra diversi tipi di replicazione come meglio rappresentata da un continuum di similarità metodologica tra la replicazione e l’esperimento originale.
Funzioni In via generale, l’importanza della replicazione a livello scientifico viene spesso associata agli scritti di Karl Popper. In particolare, un numero d'interpretazioni circa l’importanza della replicazione scientifica fa riferimento al seguente estratto dal primo capitolo della Logica della scoperta scientifica:
Secondo il sopracitato Stefan Schmidt, Popper connette l’idea di ripetere un esperimento con il principio di uniformità della natura di Hume come metodo base per ottenere conoscenza oggettiva delle leggi che regolano i fenomeni del mondo. Attraverso la ripetizione di un determinato esperimento, è quindi possibile dimostrare la stabilità delle nostre osservazioni e conoscenze dei fenomeni naturali. In altre parole, la ricorrenza sistematica di un certo evento secondo precise regole è ciò che rende il suddetto evento testabile intersoggettivamente. A sua volta, questa verifica intersoggettiva è ciò che permette di stabilire conoscenze valide e oggettive dell'evento stesso.
Più nello specifico, i diversi tipi di replicazione menzionati nella sezione precedente svolgono differenti funzioni da un punto di vista epistemologico.
Le replicazioni dirette svolgono la funzione di testare l’effettiva esistenza degli effetti e fenomeni osservati in precedenza. Più precisamente, vista la loro similarità con gli esperimenti originali, replicazioni di questo tipo sono mirate a falsificare l’ipotesi che un fenomeno osservato originariamente sia un falso positivo. In questo senso, se da una parte il successo di una replicazione diretta può renderci più fiduciosi nell’effettiva esistenza degli effetti trovati in precedenza, dall’altra il fallimento di una replicazione diretta può generalmente diminuire la nostra fiducia nell’esistenza di quegli stessi effetti (suggerendo invece che possa essersi trattato di falsi positivi).
Differentemente dalle replicazioni dirette, le replicazioni concettuali sono considerate importanti nel processo di espansione teorica, nel testare la validità di esperimenti precedenti e nello stabilire la generalizzabilità dei fenomeni osservati in precedenza. Ciò avviene grazie alle variazioni metodologiche proprie di questi tipi di replicazione, che permettono quindi di testare certe ipotesi ausiliarie associate all’ipotesi principale, e l’importanza di certi fattori nella produzione di un effetto (e.g. il tipo di operazionalizzazione utilizzata, il tipo di stimoli, o il tipo di costrutti teorici, et cetera).
Viste le considerazioni di cui sopra sulle funzioni della replicazione sperimentale nelle discipline scientifiche, una bassa incidenza di replicazioni dirette rispetto a replicazioni concettuali, unita a bassi tassi di replicabilità può essere considerata allarmante da un punto di vista epistemologico.
Storia della crisi L’inizio della crisi di replicazione può essere ricondotto ad una serie di eventi verificatisi all’inizio dei primi anni 2010. Il filosofo della scienza ed epistemologo sociale Felipe Romero ha identificato i seguenti fatti come probabili eventi scatenanti della crisi:
Controversie riguardanti gli studi sui fenomeni del priming sociale: nei primi anni 2010, un esperimento condotto nel 1996 dallo psicologo sociale John Bargh e colleghi non sembra ottenere conferme in una serie di replicazioni dirette. La serie di studi, di cui l’esperimento faceva parte, era stata fino a quel momento largamente citata da altri studi accademici e veniva regolarmente insegnata nei corsi universitari di psicologia sociale, oltre ad aver dato luogo ad un gran numero di replicazioni concettuali. Quest’ultimo fatto aveva indotto la creazione di un intero programma di ricerca sui cosiddetti fenomeni di priming sociale. In aggiunta ai fallimenti nel tentativo di replicare uno degli esperimenti originali di Bargh e colleghi, un numero considerevole degli esperimenti concettuali sopracitati non avrebbe ottenuto conferme in successive replicazioni dirette. Inoltre la controversia generata dal fallimento nel replicare l’esperimento originale ha scatentato un acceso dibattito che ha visto protagonista lo stesso John Bargh. Controversie riguardanti il fenomeno della percezione extrasensoriale: nel 2011 una serie di esperimenti condotti dallo psicologo sociale Daryl Bem evidenziavano la possibilità del fenomeno della "percezione extrasensoriale". Su 9 esperimenti condotti su oltre 1.000 partecipanti, in 8 casi su 9 egli riscontrò una percentuale di successo leggermente superiore al caso (circa il 53% contro il 50% atteso), riguardo alla possibilità che costoro venissero influenzati in maniera causalmente retroattiva da eventi futuri a loro insaputa. Gli psicologi e gli statistici che non accettarono i suoi risultati contestarono a Bem di aver usato una metodologia che tendeva a fermare la raccolta dei dati nel momento esatto in cui la statistica diventava favorevole alla sua tesi. Ripetendo l'esperimento in una serie di replicazioni, inoltre, essi non constatarono risultati significativi per l'esistenza del fenomeno sopracitato. Nonostante Bem abbia sostenuto di aver impiegato i medesimi standard comunemente accettati all'epoca nella psicologia sociale, invitando a non scartare a priori fenomeni apparentemente anomali, la vicenda è stata considerata particolarmente allarmante dalla comunità psicologica, convinta che con gli stessi metodi usati da Bem si sarebbe potuto dimostrare qualsiasi cosa, anche se impossibile. Report delle compagnie Amgen e Bayer sui bassi tassi di replicazione nella ricerca biomedica: tra il 2011 e il 2012, due studi condotti da ricercatori delle compagnie Amgen e Bayer Healthcare vengono pubblicati in cui gli autori riportano tassi di replicazione particolarmente bassi (11-20%) per una serie di studi nel campo della ricerca oncologica. Pubblicazione di una serie di studi sui fenomeni del p-hacking e delle pratiche di ricerca discutibili (PDR): a partire dagli ultimi anni 2000, una serie di studi nel campo delle metascienze sostiene come l'adozione di una serie di pratiche di ricerca, quali lo sfruttamento della flessibilità del processo di analisi e report dei dati, possa aumentare considerevolmente la probabilità di ottenere dei falsi positivi. La prevalenza di queste pratiche viene attestata da uno studio condotto nel 2012 dalla scienziata del comportamento Leslie K. John e colleghi. In via generale, questa serie di studi ha suggerito come una percentuale significativa degli studi pubblicati fino a quel momento in diversi campi potesse non essere replicabile in quanto riportante falsi positivi.