La validità internafa riferimentoalla validità del campione di individui usati come gruppo di controllo per la stima del controfattuale.

La validità interna rappresenta una condizione necessaria ma non sufficiente perché uno studio sia utile.

La validità esterna fa invece riferimento alla possibilità di generalizzare le conclusioni tratte da una valutazione all'intera popolazione degli individui eleggibili per una politica. Per avere validità esterna il campione deve essere rappresentativo della popolazione (che in generale è ignota).

Al termine valutazione sono attribuiti moltissimi e vari significati, in base ai differenti approcci metodologici della letteratura in materia. In estrema sintesi, la valutazione può essere definita come un giudizio obiettivo (cioè basato su un approccio scientificamente rigoroso) su una politica pubblica (v.) pianificata, in atto o conclusa, volto a rispondere a specifiche domande sul disegno, sull'attuazione o sui risultati della politica in esame. La presenza di un giudizio costituisce, secondo alcuni, il fondamento della distinzione fra l'attività di analisi e quella di valutazione: la prima esprime un approccio di tipo positivo, cioè meramente descrittivo della realtà quale essa è, mentre la seconda è espressione di un approccio normativo, che mira cioè a suggerire come la realtà dovrebbe essere. Il giudizio espresso dalla valutazione ha però una funzione essenzialmente conoscitiva, volta al miglioramento della politica e, più in generale, al migliore impiego delle risorse pubbliche (ad es. secondo l'approccio, tipico del mondo anglosassone, del value for money, volto ad indagare se i risultati di una politica valgono le risorse pubbliche in essa impiegate). La natura conoscitiva del giudizio che risulta dalla valutazione è alla base della differenza fra la funzione valutativa e quella di controllo: nella seconda il giudizio dell'organo che controlla è essenzialmente volto a far valere la responsabilità dell'organo controllato. Le risultanze della valutazione possono però costituire il presupposto conoscitivo di una successiva attività di controllo.

A seconda del momento in cui si sviluppa rispetto alla politica in esame, si può distinguere fra una valutazione ex ante, in itinere ed ex post. La prima ha ad oggetto un intervento in corso di pianificazione, mentre la seconda esamina una politica in corso di attuazione - ma con un intento conoscitivo diverso da quello del mero monitoraggio (v.) - e la terza un'azione conclusa.

A seconda dell'oggetto del giudizio connesso con l'attività valutativa, si può invece distinguere fra valutazione di processo e valutazione d'impatto. La prima esamina i meccanismi di implementazione (v.) di una politica, anche al fine di valutare la corrispondenza delle realizzazioni rispetto agli obiettivi. La valutazione d'impatto si concentra invece sugli effetti della politica, tentando di ricostruire i legami di causa-effetto fra l'intervento e i risultati osservabili. Essa prova cioè a verificare che i cambiamenti eventualmente riscontrati nella realtà siano attribuibili agli effetti della politica in esame, e non ad altre cause. La valutazione degli effetti può fondarsi su un approccio controfattuale (v.), cioè su un confronto fra l'osservazione della realtà quale essa è (attraverso la misurazione di determinate variabili di interesse)ed una stima di come essa sarebbe stata in assenza della politica.

I vignette studies sono una tecnica di ricerca utilizzata nelle scienze sociali per analizzare come le persone giudicano alcune situazioni ipotetiche che vengono descritte tramite brevi storie e/o scenari chiamate per l'appunto vignette. Questa tecnica, sviluppata inizialmente per studiare lo status sociale e la giustizia distributiva, è stata applicata a diversi ambiti permettendo ai ricercatori di analizzare e valutare atteggiamenti, norme, valori e decisioni in situazioni specifiche. Possono venire visti come parte del più ampio contenitore dei survey experiment (v.) e con esso ne condividono pregi e difetti.

Le vignette vengono somministrate tramite indagini campionarie, descrivono una situazione particolare e sono presentate solitamente sotto forma testuale, ma possono anche contenere elementi multimediali. Dopo la descrizione della vignetta vengono poste delle domande volte a valutare le reazioni delle persone intervistate in merito alla situazione descritta. Rispetto ai survey experiment hanno il vantaggio di ridurre il rischio di distorsione dovuta dalla desiderabilità sociale, in quanto, data la natura ipotetica delle vignette, i partecipanti si troveranno a rispondere in modo più libero rispetto a domande dirette rispetto ai propri atteggiamenti, opinioni o condotte. Vengono, infatti, spesso utilizzate in ambiti di ricerca volti a rilevare atteggiamenti e pregiudizi. Nell'ambito della valutazione (v.) delle politiche pubbliche tale tecnica viene utilizzata per comprendere i meccanismi alla base di alcuni comportamenti su cui poi agire con azioni di policy.

Le vignette si prestano ad essere utilizzate in studi sperimentali in quanto, proprio come nel caso dello studio controllato randomizzato (v.), possono essere diversificate e sottoposte in modo casuale (random) a un gruppo sperimentale e a un gruppo di controllo.

Vignette studies are a research technique used in the social sciences to analyse how people judge specific situations described in short stories or scenarios called vignettes. Originally developed to study social status and distributive justice, this technique has been applied in a variety of fields, allowing researchers to analyse and evaluate attitudes, norms, values and choices in specific situations. They can be seen as part of the wider container of survey experiments (see intra) and share their advantages and disadvantages.

Vignettes are administered by means of sample surveys, describe a specific situation and are usually presented in text form, but may also contain multimedia elements. After the description of the vignette, questions are asked to assess the respondents' reactions to the situation described. Compared to survey experiments, they have the advantage of reducing the risk of social desirability bias, as the hypothetical nature of the vignettes makes participants freer to answer direct questions about their own attitudes, opinions or behaviour. In fact, they are often used in research areas that aim to uncover attitudes and prejudices. In the context of public policy evaluation (see intra), this technique is used to understand the mechanisms underlying certain behaviours that may be the subject of policy action.

Vignettes are well suited to experimental studies because, as in the case of the randomised controlled trial (see intra), they can be varied and randomly assigned to an experimental group and a control group.