Glossario
Teoria del cambiamento. Approccio controfattuale. Effetti. Distorsioni. Analisi costi-benefici. La valutazione di una politica pubblica, oltre a un suo bagaglio teorico, ha un suo linguaggio specifico. Qui una piccola guida - in costante aggiornamento - ai termini e ai concetti fondamentali.
A
Abbinamento statistico (statistical matching)
E' un metodo per definire un gruppo di controllo ex post scegliendo tra gli individui esclusi dal trattamento (non trattati) quelli più simili (controlli) agli individui ammessi al trattamento (trattati), in base alle caratteristiche osservabili. Se l'abbinamento avviene correttamente, l'effetto del trattamento può essere semplicemente calcolato come differenza tra la media della variabile risultato per i trattati e quella per i non trattati abbinati. Quest'ultima rappresenta una stima del controfattuale.
Si dice che l'abbinamento statistico utilizza le osservazioni aventi supporto comune, in quanto avviene tra gli individui dei due gruppi più confrontabili tra loro secondo le caratteristiche osservabili.
Trovare gli individui più simili tra loro può essere reso particolarmente arduo da un elevato numero di caratteristiche da considerare. Per risolvere questo problema, si fa generalmente uso dell'indice di propensione (propensity score), ovvero la probabilità che un individuo venga trattato date le sue caratteristiche osservabili. E' stato dimostrato che la condizione fondamentale per eliminare la distorsione da selezione sulla base delle caratteristiche osservabili è soddisfatta anche se tali caratteristiche sono riassunte dal solo indice di propensione.
Analisi costi-benefici
L'analisi costi-benefici (ACB) è un metodo per confrontare opzioni alternative di intervento pubblico. È di norma svolta prima dell'intervento (ex ante) per decidere sull'opportunità di finanziarlo, ma può anche essere svolta ex post, come strumento di valutazione. L'analisi ACB confronta i benefici e i costi sociali di ciascuna alternativa. Un intervento è giudicato desiderabile se i benefici prevalgono, nel complesso, sui costi. L'opzione di intervenire è dunque implicitamente comparata con l'alternativa di lasciare immutata la situazione attuale (status quo o "opzione zero"). In presenza di più opzioni di intervento alternative, è ritenuta preferibile quella che presenta una maggiore prevalenza dei benefici sui costi. Nell'analisi di ACB, dopo aver definito l'ambito di analisi (contesto geografico, platea dei destinatari e arco temporale di riferimento), si individuano i costi e i benefici rilevanti, stimandone l'entità ed esprimendola in unità monetarie (monetizzazione), al fine di renderli facilmente confrontabili fra loro. L'ACB non si presta, dunque, ad essere impiegata in presenza di valori non monetizzabili: in casi come questo, per svolgere delle comparazioni, la quantificazione dei costi andrebbe incrociata con una stima dei risultati dell'intervento, come avviene dell'analisi costo-efficacia (v.).
Analisi costo-efficacia
L'analisi costo-efficacia (ACE) consente di confrontare delle politiche alternative sulla base dei loro costi e della loro efficacia. Dal momento che si confrontano costi (monetizzati) e risultati (non monetizzabili, come ad esempio il numero di vite umane salvate da una determinata politica di prevenzione sanitaria), nell'ACE non è possibile calcolare il saldo fra i valori monetari dei costi e dei benefici, come avviene nell'analisi costi-benefici (v.), ma è necessario costruire degli indici di costo-efficacia (come il costo medio per unità di risultato, o l'indice di risultato per unità di costo) attraverso i quali comparare le diverse politiche. L'ACE (a differenza dell'analisi costi-benefici, che si realizza solitamente prima di realizzare un intervento) deve necessariamente essere sviluppata ex post, dal momento che i dati relativi al costo della politica devono essere incrociati con una stima dei suoi risultati, che discende dalle risultanze di una valutazione (v.) degli effetti (Impact evaluation).
Analisi delle serie storiche interrotte
E' un metodo di valutazione degli effetti di tipo non sperimentale che sfrutta la discontinuità temporale presentata dal "trattamento", cioè dalla politica oggetto di valutazione.
Si applica per lo più ai casi di politiche universali, che interessano cioè l'intera popolazione di riferimento, che entrano in vigore da una certa data in poi (ad esempio l'introduzione di un nuovo obbligo o l'inasprimento di una sanzione). In queste situazioni, infatti, non si dispone di soggetti non "trattati" dalla politica che consentano di ricostruire lo scenario controfattuale.
Il metodo consiste nel predire l'andamento che la variabile risultato avrebbe avuto nel periodo successivo all'introduzione della politica se avesse continuato a seguire il suo comportamento precedente, simulando così uno scenario controfattuale.
L'effetto della politica è stimato come differenza tra il valore osservato (fattuale) e quello predetto (controfattuale) della variabile risultato.
Affinché le stime siano attendibili è necessario disporre di una serie temporale di dati relativi alla variabile risultato che abbracci un arco temporale precedente all'intervento sufficientemente lungo.
Analisi di implementazione
L'implementazione di una politica pubblica (v.) è la messa in opera di attività che, mediante l'impiego di una certa quantità di risorse, mirano al conseguimento di determinati risultati. L'analisi dell'implementazione di una politica (o valutazione di processo) mira a ricostruire "cosa è successo" nel processo di attuazione, verificando la presenza di eventuali deficit di implementazione in grado di minare i risultati di policy. A differenza della valutazione degli effetti, che mira a stimare se la politica è stata in grado di trasformare la realtà nella direzione desiderata, l'analisi di implementazione è concentrata sul funzionamento della politica, verificando ad esempio l'adeguatezza dei procedimenti amministrativi, la capacità di farsi comprendere dai destinatari, la qualità della comunicazione, le dinamiche interne alle amministrazioni, i meccanismi di erogazione dei fondi, ecc. Nella letteratura sono diffusi due approcci fondamentali al processo di implementazione: il primo (cosiddetto "top-down" ) osserva il processo dalla prospettiva dei decisori (decision makers), e dunque identifica quale parametro di riferimento gli obiettivi della politica fissati nel momento della sua deliberazione, leggendo come deficit di implementazione tutti gli scostamenti fra gli obiettivi iniziali e risultati effettivamente conseguiti. Il secondo approccio (cosiddetto "bottom-up") osserva viceversa il processo di attuazione "dal basso", considerando gli atteggiamenti, le motivazioni e le reazioni dei cittadini destinatari delle azioni di policy e dei loro immediati interlocutori, cioè degli operatori direttamente coinvolti nelle varie politiche (ad esempio insegnanti, impiegati di sportello, agenti di polizia, ecc.).
Analisi di regressione
La regressione è uno strumento di analisi basato sull'idea che le osservazioni relative a due variabili siano rappresentabili nel piano cartesiano come una nuvola di punti approssimabile attraverso rette o curve che ne interpretino l'andamento, rappresentando, quindi, la relazione tra le variabili. Nel caso della regressione lineare, la retta che approssima la nuvola di punti viene determinata minimizzando i quadrati delle distanze tra i punti e tutte le possibili rette che attraversano la nuvola (metodo dei minimi quadrati). Nell'ambito della valutazione degli effetti di una politica, la regressione è utilizzata per ridurre le differenze di partenza quando si confrontano trattati e non trattati ma può anche essere utilizzata nel metodo sperimentale per eliminare le differenze residue tra gruppo di controllo e gruppo sperimentale e per aumentare la precisione delle stime. Includendo nella regressione le variabili che si ritiene influenzino sia l'assegnazione al trattamento che la variabile scelta per misurare l'effetto, si ottiene una stima finale dell'effetto "a parità di condizioni". In generale quindi le stime sono tanto più plausibili quante più variabili, tra quelle che influenzano il processo di selezione, è possibile includere. Se la variabile trattamento è binaria (trattati-non trattati) e la regressione si basa su dati pre e post trattamento le stime ottenute coincidono con quelle del modello "differenza-nelle differenze".
Analisi qualitativa comparativa
La qualitative comparative analysis (QCA) è una metodologia di ricerca comparativa ideata da Charles Ragin nel 1987 con lo scopo di analizzare campioni di piccole dimensioni. Si inserisce all'interno degli Hybrid methods offrendo una strategia che si colloca a metà strada tra l'analisi qualitativa dei casi e lo studio quantitativo delle variabili. La QCA si prefigge di conseguire due obiettivi apparentemente contraddittori: da un lato, raccogliere informazioni dettagliate per fornire una conoscenza approfondita dei casi studiati; dall'altro, produrre risultati che siano generalizzabili. La QCA incarna il meglio dello studio di casi nel senso che ogni caso è considerato come una configurazione di condizioni e risultati, nessuna delle quali viene tralasciata nel momento dell'analisi. Parallelamente, sviluppa un concetto di causalità noto come causalità congiunturale multipla, secondo il quale: i) può essere una specifica combinazione di condizioni a generare un determinato fenomeno (l'outcome); ii) diverse combinazioni di condizioni possono portare allo stesso risultato; iii) a seconda del contesto, una stessa condizione può avere impatti diversi sull'outcome.
L'approccio prevede un confronto sistematico e rigoroso di casi selezionati utilizzando la logica Booleana (le variabili possono assumere solo i valori vero o falso) e un protocollo analitico basato su software per l'analisi dei dati, quali R o STATA, in grado di garantire un esame approfondito delle diverse configurazioni. È considerata appropriata per l'analisi di disegni di ricerca ex-post, che si interrogano sui fattori che causano un determinato fenomeno, come i risultati del processo legislativo, la spesa pubblica, la formazione di coalizioni, il cambiamento delle politiche o il successo dei progetti politici