Glossario
Teoria del cambiamento. Approccio controfattuale. Effetti. Distorsioni. Analisi costi-benefici. La valutazione di una politica pubblica, oltre a un suo bagaglio teorico, ha un suo linguaggio specifico. Qui una piccola guida - in costante aggiornamento - ai termini e ai concetti fondamentali.
R
Revisione sistematica
Una revisione sistematica sintetizza e valuta criticamente gli esiti dei migliori studi riguardanti una determinata domanda di ricerca allo scopo di fornire risposte solide in quanto basate su un ampio numero di evidenze.
Le revisioni sistematiche sono il miglior modo per riassumere i risultati di più studi riguardanti lo stesso oggetto di ricerca e vengono applicate nelle più svariate discipline, quali, ad esempio, la sanità o l'istruzione.
Le revisioni sistematiche si ripropongono di superare le distorsioni implicite nelle revisioni della letteratura tradizionali (c.d. "narrative"), che rappresentano inevitabilmente un compromesso tra l'opinione dell'autore e gli studi originali in quanto non sono basate su una ricerca sistematica delle evidenze disponibili, ma su una loro selezione legata alla reperibilità, accessibilità linguistica e sintonia con le idee dell'autore. Nelle revisioni tradizionali, il processo di selezione degli studi non è reso esplicito dagli autori e risulta pertanto poco riproducibile e non verificabile.
Nelle revisioni sistematiche, invece, tali distorsioni sono ridotte al minimo attraverso l'applicazione di un protocollo scientifico. Le revisioni sistematiche seguono passaggi ben definiti e trasparenti − la definizione della domanda di ricerca o del problema, l'individuazione e la valutazione critica dell'evidenza disponibile, la sintesi dei risultati e l'illustrazione delle conclusioni rilevanti, la discussione delle ragioni di concordanza e discordanza tra i risultati dei diversi studi.
Nelle revisioni sistematiche, tuttavia, a differenza delle meta-analisi (si veda la relativa voce), i risultati degli studi non sono necessariamente combinati formalmente in un unico risultato. Qualora, infatti, gli studi analizzati portino a risultati particolarmente eterogenei, la meta-analisi può essere fuorviante e quindi la revisione dovrebbe privilegiare un approccio qualitativo.
Rilevazione degli effetti percepiti dai beneficiari
La rilevazione degli effetti percepiti (REP) è un metodo d'indagine volto a raccogliere informazioni sull'opinione dei beneficiari circa l'effetto che una determinata politica pubblica ha avuto su di loro attraverso apposite indagini campionarie (beneficiary surveys). La REP rileva quindi la percezione dell'intervento presso i suoi beneficiari attraverso domande ipotetiche su quale sarebbe stata la loro condizione in assenza dell'intervento L'effetto viene misurato comparando la situazione attuale a quella stimata ottenuta aggregando le risposte degli intervistati all'ipotesi proposta. L'impiego della REP consente di approssimare una ipotetica situazione controfattuale (v.) rispetto all'intervento, anche in assenza delle condizioni necessarie ad una ricostruzione controfattuale vera e propria (soprattutto quando mancano i dati per effettuare un confronto attendibile fra trattati e non trattati ovvero fra differenti periodi di tempo). Essa presenta, però, anche il rischio di esporre la stima dell'effetto a possibili distorsioni, volontarie e involontarie, della percezione e della risposta degli intervistati rispetto alla realtà. Inoltre, nell'intervistare esclusivamente i beneficiari può produrre risultati distorti in tutti quei casi in cui, per stimare l'effetto di una politica, può essere necessario prendere in considerazione anche i beneficiari potenziali (cioè i soggetti ammissibili a un determinato trattamento).