Dalla rivista Cortex soffia un vento di radicale cambiamento, per mezzo del quale si tenta di traghettare le riviste scientifiche di settore verso nuovi lidi. Ci riferiamo all’iniziativa registered reports, la quale prevede che ad essere valutato dalla rivista non sia il manoscritto che riporta i dati raccolti, analizzati e interpretati dal gruppo di ricerca, ma la domanda di ricerca stessa e il metodo con cui ad essa si intende dare risposta. Se la proposta di studio inviata alla rivista viene ritenuta valida, ai proponenti è garantita la pubblicazione, naturalmente una volta raccolti e analizzati i dati, e rispettati alcuni criteri minimi. Il classico processo di valutazione del lavoro da parte della rivista verrebbe dunque anticipato al momento in cui il gruppo di ricerca progetta l’esperimento, dunque prima della raccolta dei dati.
L’introduzione di questo nuovo iter di pubblicazione, nell’idea dei suoi proponenti (Chris Chambers e altri), punterebbe a risolvere una serie di spinosi problemi che attualmente viziano il sistema di pubblicazione scientifica. Per individuare questi problemi, consideriamo per un momento quale sia, pur in maniera schematica e parziale, l’attuale processo di produzione di conoscenza scientifica. Nell’immagine condivisibile che ne fornisce Chambers, questo è circolare. Alla generazione di alcune teorie o ipotesi specifiche segue la pianificazione di uno studio che miri a sottoporle a verifica empirica. Lo scienziato raccoglie poi i dati, analizzando e interpretando i quali può giungere a delle conclusioni rispetto alle ipotesi di partenza, dichiarando queste ultime vere o false. A questa fase, ne segue una in cui i risultati della ricerca vengono pubblicati. Il cerchio si chiude quando lo scienziato decide, sulla base della letteratura così formatasi, di generare nuove ipotesi o teorie da sottoporre a verifica empirica.
Alcuni vizi dell’attuale sistema di pubblicazione
Un primo problema che contribuisce ad arrugginire questo meccanismo è che solo una minima parte degli studi pubblicati vengono poi replicati (secondo alcune stime, in psicologia, uno studio su mille viene replicato; Makel et al., 2012). La ragione di ciò è in parte da trovare nella scarsa disponibilità da parte delle riviste a favorire la pubblicazione di studi non originali, dove appunto l’accento è spesso posto altrove, sulla novità e l’originalità dello studio. Ciò diventa particolarmente problematico quando si considera che, negli studi progettati dagli scienziati cognitivi, c’è una buona probabilità, circa il 50%, di trovare almeno qualche effetto medio (Bezeau & Graves, 2001), e che gli studi hanno generalmente un basso potere statistico.
A ciò si aggiungano tutte quelle pratiche che portano gli scienziati a maneggiare, selezionare, e interpretare i dati di modo che la ricerca porti a risultati che siano statisticamente significativi (John et al., 2012; vedi anche Ioannidis, 2005), eventualmente sostituendo le ipotesi di partenza con ipotesi costruite a posteriori cosicché i dati possano apparire corroboranti rispetto alle ipotesi che lo scienziato dichiara a posteriori essere le favorite rispetto alla conoscenza pregressa. Queste pratiche non sarebbero nemmeno così gravi, se a peggiorare la situazione non si aggiungesse che, di fronte ad un alto tasso di fallimento nel confermare le ipotesi iniziali, secondo alcune stime, circa il 90% degli studi pubblicati riportano risultati positivi, mentre meno del 10% riportano risultati nulli. I molti fallimenti nel trovare risultati significativi, dunque, non sono condivisi tra i diversi gruppi di ricerca, e certamente non finiscono sulle riviste scientifiche, con la conseguenza che alla stessa comunità scientifica viene restituita un’immagine distorta della propria attività e della conoscenza che da essa deriva o dovrebbe derivare.
La soluzione registered reports
L’idea del ‘registered reports’ vorrebbe essere una soluzione a questi problemi, dal momento che attraverso uno stretto controllo da parte della rivista sul momento di individuazione delle ipotesi, pianificazione dello studio, e analisi dei dati raccolti, e attraverso la garanzia che i risultati, quali che siano, troveranno diffusione certa per mezzo di una pubblicazione sulla rivista, i gruppi di ricerca non saranno portati ad incorrere in tutte quelle pratiche scorrette che più che dall’etica dello scienziato dipendono dal sistema di pubblicazione vigente. Una volta approvato il disegno sperimentale e la metodologia da impiegarsi, la rivista si impegna a pubblicare anche risultati nulli. La libertà dello scienziato di selezionare i dati o di cambiare ipotesi a posteriori è ridotta al minimo. La rivista si assicurerà, nella fase di approvazione iniziale, che lo studio sia progettato con la giusta potenza statistica, e incoraggerà la replicazione di risultati già noti.
Ma quali sono i criteri attraverso cui le proposte degli scienziati dovranno essere valutate? Nella filosofia del gruppo ‘registered reports’ di Cortex vi sono due criteri essenziali, relativi a due elementi che sarebbero in grado di restituire valore scientifico alle attuali pratiche di verifica delle ipotesi. Il primo criterio è la rilevanza o l’importanza della domanda di ricerca. Il secondo criterio è la qualità del metodo impiegato per la verifica delle ipotesi e la generazione della conoscenza.
Criticità del sistema registered reports
Il secondo è un criterio di natura per così dire tecnica, dove un maggior rigore nel rispetto delle buone pratiche di ricerca porterà certamente a un miglioramento della psicologica scientifica. Diversamente, il primo criterio risulta, a nostro parere, problematico. Cosa dovrebbe significare che le domande di ricerca devono essere rilevanti? Rilevanti per chi? La risposta sembra essere: rilevanti per la comunità scientifica, per un ‘noi’ impersonale che, in assenza di un sistema gerarchico verticale, dove sia chiaro chi impone cosa e chi subisce, rispetta od obbedisce, rischia semplicemente di generare confusioni mal risolvibili tra pari che si riconoscono o non si riconoscono appartenenti ad un ‘noi’ così determinato. In sostanza, è probabile che la rilevanza della domanda sarà attribuita sulla base della serie pregressa di domande già valutate come rilevanti perché inserite in ricerche già pubblicate, oppure sulla base di mode o di quegli interessi che meglio rispecchiano i criteri, quali che siano, con cui i finanziatori, pubblici e privati, individuano chi finanziare e chi no.
Immaginiamo, allora, per un momento, che il sistema ‘registered reports’ sia diffuso e che, nel rispetto dei due principi sopra menzionati, lo scienziato che invia i propri progetti alle riviste veda il suo lavoro pubblicato. Se il numero di pubblicazioni sarà ancora, come è oggi, uno degli indici più semplici e più utilizzati per valutare la produttività di uno scienziato e la probabilità di un suo avanzamento di carriera, allora ci sarà da aspettarsi che coloro i quali meglio sapranno rappresentare gli interessi generali, ovvero porranno domande rilevanti, saranno i favoriti nella corsa all’avanzamento di carriera. In questo sistema autoritario senza vera autorità centrale, dove appunto l’autorità rischia di essere una forza perfettamente eterodiretta dagli interessi o, più in generale, dalle logiche dei finanziatori e da un insieme senza volto di pari, ci si dovrà porre il problema di considerare seriamente da quale prospettiva (o quali prospettive) vogliamo che la scienza psicologica come disciplina guardi a sé stessa e giudichi la rilevanza delle sue questioni.
Altrimenti…
Altrimenti, ai ricercatori non rimarrà altra scelta che conformarsi con sempre maggiore rigore ai dettami di un pensiero che non potrà definirsi se non unico. Cosa ancora più grave, questo pensiero sarà privo dell’assertività che potrebbe derivargli da un’origine legittima o autorevole. Piuttosto e più probabilmente questo pensiero unico sarà frutto di spinte anonime e senza valore, a meno che per valore si indichi quello economico, nei termini del rispetto delle logiche e degli interessi dei finanziatori, oppure quello materialmente applicativo (quale uso pratico ne facciamo di questa ricerca?), oppure ancora quello che obbedisce ad uno spirito del tempo o moda che non necessariamente indica la strada corretta per giungere alla conoscenza. Sicché, pensare ad uno spazio aperto dove poter discutere di cosa sia rilevante e cosa non lo sia, oppure riflettere sulla possibile istituzione di una gerarchia che possa stabilire una regola su questi temi, dove tuttavia il vertice sia libero dalle influenze senza volto di cui sopra si diceva, sarà necessario per uno sviluppo sano delle nuove prospettive in materia di pubblicazione scientifica.
Riferimenti:
Bezeau, S., & Graves, R. (2001). Statistical power and effect sizes of clinical neuropsychology research. Journal of Clinical and Experimental Neuropsychology, 23, 399-406.
Ioannidis, J. (2005). Why most published research findings are false. PLoS Med, 2, e124.
John, L., Loewenstein, G., & Prelec, D. (2012). Measuring the prevalence of questionable research practices with incentives for truth telling. Psychological Science, 23, 524-532.
Makel, M., Plucker, J., & Hegarty, B. (2012). Replications in psychology research: How often do they really occur? Perspectives on Psychological Science, 7, 537-542.
Francesco Margoni
Be First to Comment