E' un tipo di valutazione che si basa sul metodo sperimentale. Fin dal 1944, anno di pubblicazione dei risultati dell'esperimento sulla patulina del British Medical Research Council, costituisce il fondamento della ricerca clinica in medicina. In casi circoscritti e con numerosi limiti, lo studio controllato randomizzato (Randomized Controlled Trial, RCT) può essere applicato anche alla valutazione delle politiche pubbliche.

Il metodo consiste nella suddivisione di un gruppo di individui in due sottogruppi mediante assegnazione rigorosamente casuale (random) dei componenti. I membri del primo gruppo, detto "sperimentale", ricevono il "trattamento" (ad esempio, l'erogazione di un servizio o la concessione di un beneficio), mentre sono esclusi dalla politica i membri del secondo gruppo, che per questo viene detto "di controllo". Se il campione di partenza è sufficientemente grande, i due gruppi creati risultano statisticamente equivalenti sia nelle caratteristiche osservabili che nelle caratteristiche non osservabili. Ciò implica che i due sottogruppi siano privi di differenze di partenza e che, quindi, la distorsione da selezione sia stata eliminata. Il gruppo di controllo così creato rappresenta la ricostruzione più affidabile della situazione controfattuale.

Ciò consente di stimare l'effetto del trattamento semplicemente confrontando il valore medio della variabile risultato nei due sottogruppi.

Le desiderabili caratteristiche statistiche rendono tale metodo un punto di riferimento ideale nella valutazione controfattuale delle politiche pubbliche.

Il survey experiment è una metodologia di ricerca particolarmente innovativa che prova a coniugare gli aspetti tipici di un'inchiesta campionaria con quelli di un esperimento. Il survey experiment è molto simile a uno studio controllato randomizzato (v.). Infatti, anche con questo metodo i partecipanti vengono assegnati in modo rigorosamente casuale (random) a un gruppo sperimentale e a un gruppo di controllo, i quali sono successivamente sottoposti a stimoli diversi.

Questa metodologia si è dimostrata preziosa nel campo delle scienze sociali, in quanto ha il vantaggio di permettere una più ampia raccolta di dati su campioni rappresentativi dell'intera popolazione di interesse colmando, in questo modo, il divario tra validità interna ed esterna (v.) che affligge tipicamente lo studio controllato randomizzato. Il survey experiment è anche uno strumento molto flessibile che permette di indagare un'ampia gamma di fenomeni sociali come, ad esempio, atteggiamenti politici, comportamenti pro-sociali (solidarietà, altruismo, cooperazione e aiuto) o risposte a stimoli mediatici, ma soprattutto offre la possibilità di indagare a fondo i possibili meccanismi che si celano dietro fenomeni sociali di interesse per il decisore pubblico.

Va da sé che anche questo strumento è accompagnato da alcuni limiti. I principali sono essenzialmente due. Innanzitutto, può essere utilizzato sostanzialmente solo per interventi che si basano sul fornire informazioni alla popolazione target e, inoltre, non si è sempre in grado di rilevare comportamenti messi in atto dai beneficiari nel mondo reale.

The survey experiment is an innovative research method that attempts to combine the typical aspects of a survey with those of an experiment. The survey experiment can be seen as a close relative of the randomised controlled trial (see intra). In fact, it is also a method in which participants are randomly assigned to an experimental group and a control group, which are then exposed to different stimuli.

This approach has proved to be particularly valuable in the social sciences, as it has the advantage of allowing a broader collection of data on representative samples of the whole population of interest, thus bridging the gap between internal and external validity (see intra) that typically plagues the randomised controlled trial. The survey experiment is also proving to be a very flexible tool that can be used to study a wide range of social phenomena, such as political attitudes, pro-social behaviour (e.g., solidarity, altruism, cooperation and helping) or responses to media stimuli, but above all it offers the opportunity to explore in depth the possible mechanisms behind social phenomena of interest to the policy maker.

Of course, even this tool has its limitations. The main ones are essentially two. Firstly, it can basically only be used for interventions based on providing information to the target population and, secondly, it is not always able to detect the real behaviour of the beneficiaries.

The evaluation of the effects of a treatment (such as, for example, a public policy) requires the comparison of the treated subjects to that of other control subjects, in order to measure the difference that the treatment achieves in the value of the specific outcome variable.

The choice of control subjects is a crucial aspect of this process. Ideally, treated and untreated subjects should have the same characteristics, otherwise the difference in the outcome variable could simply reflect the structural differences between the subjects rather than the effect of the treatment.

The "synthetic control" method involves the construction of "synthetic" comparison group, whose characteristics are obtained as a weighted average, in which the weighting is designed in a manner to faithfully reflect the characteristics of the entire population of subjects prior to treatment. The synthetic control thus constructed performs as a credible counterfactual of the true scenario.

The method combines elements from the statistical techniques of "matching" and "difference in differences". Compared to the latter, the synthetic control has the advantage of making the choice of weights explicit and transparent.

Because it allows a systematic approach to the selection of comparative subjects, the synthetic control method has been used effectively in political science, health policy evaluation, criminology and economics.