Difference in differences is a method of evaluating non-experimental effects. It consists of comparing two groups of individuals (those receiving the treatment and those excluded from it, the control group) in at least two time periods, before and after the introduction of the policy.

The untestable assumption on which the method is based, and which in some cases is not plausible, is that the factors differentiating beneficiaries and excluded individuals, net of certain observable characteristics that can be identified and isolated, remain constant over time.

By exploiting this assumption, the method makes it possible to eliminate selection bias and estimate the effect of the policy.

In this case, the counterfactual value is obtained by adding the difference between the final and initial values for the control group to the initial value of the result variable for the treated group.

The effect of the policy is then calculated as the difference between the final value of the result variable for the treated group and the counterfactual.

Hence the name of the method.

E' un metodo di valutazione degli effetti di tipo non sperimentale che consiste nel paragonare due gruppi di individui (quelli destinatari del trattamento, i trattati, e quelli esclusi, i controlli) in almeno due distinti istanti temporali, prima e dopo l'introduzione della politica.

L'assunto non testabile alla base del metodo, e che in alcuni casi risulta non plausibile, è che ciò che differenzia destinatari ed esclusi, al netto di alcune caratteristiche osservabili che possono essere identificate ed isolate, rimanga costante nel tempo.

Sfruttando questo assunto, il metodo consente di eliminare la distorsione da selezione e stimare l'effetto della politica.

In questo caso il valore controfattuale si ottiene sommando al valore iniziale della variabile risultato per il gruppo dei trattati la differenza tra i valori finale e iniziale per il gruppo dei controlli.

L'effetto della politica è quindi calcolato come differenza tra il valore finale della variabile risultato per i trattati e il controfattuale.

Da qui il nome del metodo.

For public policies characterised by rigid and known administrative rules that reliably determine exposure to the treatment, a marked discontinuity is created between those admitted to the treatment and those who are not. This holds even if the values of the observable characteristic used for selection are very similar for the two groups of individuals.

The threshold value, and the resulting selection process, can for example refer to income (exemption from healthcare co-payments, allowances), to age (Young People's Guarantee), to the score obtained in a selection test.

The discontinuity that is created around the threshold can be exploited to identify the effect of the policy by comparing the results for marginal individuals, i.e. those situated just below (excluded) or just above (admitted) the threshold. The similarity between the individuals around the threshold enables a random selection (randomisation) in which the effect of the treatment is not subject to self-selection bias.

The estimate thus obtained of the effect is, however, local, in other words valid only for those situated around the threshold (the marginal individuals) and is, therefore, difficult to generalise. Internal validity is obtained by sacrificing external validity.

This limitation to exploiting the threshold discontinuity can in part be mitigated by using all the available observations (so not just those relating to the individuals around the threshold) with the help of regression. This is how the Regression Discontinuity Design approach is obtained.

Nel caso di politiche pubbliche caratterizzate da regole amministrative rigide e note che determinano in maniera certa l'esposizione al trattamento, si crea una discontinuità netta tra chi è ammesso al trattamento e chi non lo è, seppure i valori della caratteristica osservabile usata per la selezione siano molto simili tra i due gruppi di individui.

Il valore soglia, e il conseguente processo di selezione, può essere ad esempio riferito al reddito (esenzione ticket, sussidi), all'età (Garanzia Giovani), al punteggio ottenuto in un test di selezione.

La discontinuità creatasi intorno alla soglia può essere sfruttata per identificare l'effetto della politica confrontando i risultati relativi agli individui marginali, ossia quelli situati subito sotto (esclusi) o subito sopra (ammessi) la soglia. La somiglianza degli individui attorno alla soglia consente una sorta di selezione casuale (randomizzazione) in cui l'effetto del trattamento non incorre nella distorsione da autoselezione.

La stima dell'effetto così ottenuta è però locale, ovvero valida solo per coloro che sono attorno alla soglia (gli individui marginali appunto), e quindi difficilmente generalizzabile - la validità interna è ottenuta sacrificando quella esterna.

Questa limitazione dello sfruttamento della discontinuità intorno alla soglia può essere in parte attenuata impiegando tutte le osservazioni disponibili (e quindi non solo quelli relativi agli individui attorno alla soglia) con l'ausilio della regressione . Si ottiene così l'approccio del Regression Discontinuity Design.

La stima dell'effetto di una politica richiede che gli individui trattati e quelli non trattati abbiano le stesse caratteristiche di partenza, in modo da poter attribuire le variazioni nella variabile risultato esclusivamente alla politica pubblica. Quando invece le caratteristiche di partenza differiscono si ha distorsione da selezione. Parliamo di distorsione perché impedisce di usare come stima dell'effetto il confronto tra la media della variabile risultato per i trattati e quella per i non trattati. La distorsione è dovuta alla selezione perché dipende dalle differenze nelle caratteristiche dei trattati e dei non trattati preesistenti alla politica pubblica che influiscono sull'attribuzione degli individui al gruppo dei trattati o dei non trattati.