E' un tipo di valutazione che si basa sul metodo sperimentale. Fin dal 1944, anno di pubblicazione dei risultati dell'esperimento sulla patulina del British Medical Research Council, costituisce il fondamento della ricerca clinica in medicina. In casi circoscritti e con numerosi limiti, lo studio controllato randomizzato (Randomized Controlled Trial, RCT) può essere applicato anche alla valutazione delle politiche pubbliche.

Il metodo consiste nella suddivisione di un gruppo di individui in due sottogruppi mediante assegnazione rigorosamente casuale (random) dei componenti. I membri del primo gruppo, detto "sperimentale", ricevono il "trattamento" (ad esempio, l'erogazione di un servizio o la concessione di un beneficio), mentre sono esclusi dalla politica i membri del secondo gruppo, che per questo viene detto "di controllo". Se il campione di partenza è sufficientemente grande, i due gruppi creati risultano statisticamente equivalenti sia nelle caratteristiche osservabili che nelle caratteristiche non osservabili. Ciò implica che i due sottogruppi siano privi di differenze di partenza e che, quindi, la distorsione da selezione sia stata eliminata. Il gruppo di controllo così creato rappresenta la ricostruzione più affidabile della situazione controfattuale.

Ciò consente di stimare l'effetto del trattamento semplicemente confrontando il valore medio della variabile risultato nei due sottogruppi.

Le desiderabili caratteristiche statistiche rendono tale metodo un punto di riferimento ideale nella valutazione controfattuale delle politiche pubbliche.

Nel panorama della ricerca sociale, il metodo dello studio di caso è considerato uno strumento particolarmente efficace per analizzare fenomeni complessi in cui interagiscono più dimensioni. Lo studio di caso è indispensabile quando l'analisi si focalizza su casi unici e irripetibili (ad esempio, una riforma) per cui l'impiego di altri metodi può risultare riduttivo. In un contesto di analisi e valutazione delle politiche pubbliche, lo studio di caso può riguardare l'esplorazione di un programma, un intervento o una politica al fine di analizzarne l'efficacia, l'impatto e l'implementazione. Diviene particolarmente prezioso quando l'obiettivo della ricerca riguarda il capire il "come" e il "perché" di un fenomeno sociale fornendo informazioni per la comprensione dei processi, dei risultati e delle esperienze degli attori coinvolti.

Elemento centrale nell'utilizzo di questo metodo è la selezione dei casi da analizzare, selezione che deve essere motivata e inquadrabile in una cornice teorica ben precisa. La letteratura offre diversi criteri per selezionare i casi, soffermiamoci sui due principali: la massimizzazione delle differenze e la minimizzazione delle differenze. Nel primo caso l'interesse è individuare elementi comuni analizzando anche casi devianti o estremi, mentre nel secondo si avranno casi molto simili che differiscono per un solo aspetto (la politica di interesse, per esempio). In questo modo è possibile analizzare come la stessa politica viene recepita in contesti molto dissimili o quali possono essere i suoi effetti.

La fase successiva alla selezione è la raccolta dei dati, per la quale è preferibile attingere a una molteplicità di fonti in grado di garantire la triangolazione delle informazioni con l'obiettivo di consolidarne la validità. I metodi comuni includono la conduzione di interviste in profondità con stakeholder, beneficiari ed esperti; l'analisi documentale, nonché la raccolta di dati strutturati tramite sondaggi per integrare le evidenze qualitative. In alcune situazioni è possibile anche fare ricorso all'osservazione partecipante che prevede un coinvolgimento diretto da parte del ricercatore nelle attività oggetto di analisi.

Nella fase di analisi dei dati, vengono impiegate tecniche come la codifica dei dati qualitativi in grado di sintetizzare le informazioni e renderle generalizzabili, ma la vera sfida consiste nell'integrare e rendere organiche le molteplici informazioni raccolte. L'obiettivo è infatti quello di costruire una narrativa dettagliata che spieghi il caso in modo completo e unitario tenendo conto di tutte le variabili principali in gioco.

Le limitazioni di questo metodo sono, in prima battuta, il tempo e le risorse necessarie. Inoltre, esso può essere soggetto a distorsioni del ricercatore a causa della natura interpretativa dell'analisi e i risultati spesso mancano di validità esterna a causa del focus su casi specifici.

Tuttavia, i vantaggi dello studio di caso includono la capacità di fornire una comprensione approfondita di fenomeni e politiche complesse, catturare intuizioni specifiche del contesto e generare dati qualitativi ricchi e utili anche per lo sviluppo teorico.

Il survey experiment è una metodologia di ricerca particolarmente innovativa che prova a coniugare gli aspetti tipici di un'inchiesta campionaria con quelli di un esperimento. Il survey experiment è molto simile a uno studio controllato randomizzato (v.). Infatti, anche con questo metodo i partecipanti vengono assegnati in modo rigorosamente casuale (random) a un gruppo sperimentale e a un gruppo di controllo, i quali sono successivamente sottoposti a stimoli diversi.

Questa metodologia si è dimostrata preziosa nel campo delle scienze sociali, in quanto ha il vantaggio di permettere una più ampia raccolta di dati su campioni rappresentativi dell'intera popolazione di interesse colmando, in questo modo, il divario tra validità interna ed esterna (v.) che affligge tipicamente lo studio controllato randomizzato. Il survey experiment è anche uno strumento molto flessibile che permette di indagare un'ampia gamma di fenomeni sociali come, ad esempio, atteggiamenti politici, comportamenti pro-sociali (solidarietà, altruismo, cooperazione e aiuto) o risposte a stimoli mediatici, ma soprattutto offre la possibilità di indagare a fondo i possibili meccanismi che si celano dietro fenomeni sociali di interesse per il decisore pubblico.

Va da sé che anche questo strumento è accompagnato da alcuni limiti. I principali sono essenzialmente due. Innanzitutto, può essere utilizzato sostanzialmente solo per interventi che si basano sul fornire informazioni alla popolazione target e, inoltre, non si è sempre in grado di rilevare comportamenti messi in atto dai beneficiari nel mondo reale.

The survey experiment is an innovative research method that attempts to combine the typical aspects of a survey with those of an experiment. The survey experiment can be seen as a close relative of the randomised controlled trial (see intra). In fact, it is also a method in which participants are randomly assigned to an experimental group and a control group, which are then exposed to different stimuli.

This approach has proved to be particularly valuable in the social sciences, as it has the advantage of allowing a broader collection of data on representative samples of the whole population of interest, thus bridging the gap between internal and external validity (see intra) that typically plagues the randomised controlled trial. The survey experiment is also proving to be a very flexible tool that can be used to study a wide range of social phenomena, such as political attitudes, pro-social behaviour (e.g., solidarity, altruism, cooperation and helping) or responses to media stimuli, but above all it offers the opportunity to explore in depth the possible mechanisms behind social phenomena of interest to the policy maker.

Of course, even this tool has its limitations. The main ones are essentially two. Firstly, it can basically only be used for interventions based on providing information to the target population and, secondly, it is not always able to detect the real behaviour of the beneficiaries.

The evaluation of the effects of a treatment (such as, for example, a public policy) requires the comparison of the treated subjects to that of other control subjects, in order to measure the difference that the treatment achieves in the value of the specific outcome variable.

The choice of control subjects is a crucial aspect of this process. Ideally, treated and untreated subjects should have the same characteristics, otherwise the difference in the outcome variable could simply reflect the structural differences between the subjects rather than the effect of the treatment.

The "synthetic control" method involves the construction of "synthetic" comparison group, whose characteristics are obtained as a weighted average, in which the weighting is designed in a manner to faithfully reflect the characteristics of the entire population of subjects prior to treatment. The synthetic control thus constructed performs as a credible counterfactual of the true scenario.

The method combines elements from the statistical techniques of "matching" and "difference in differences". Compared to the latter, the synthetic control has the advantage of making the choice of weights explicit and transparent.

Because it allows a systematic approach to the selection of comparative subjects, the synthetic control method has been used effectively in political science, health policy evaluation, criminology and economics.