Non si può parlare compiutamente di valutazione se non si affronta il problema della causalità: ogni volta che si osserva un cambiamento non si può correttamente definirlo un effetto se non si è prima dimostrato che un dato intervento ne è la causa. Purtroppo, questo tipo di relazione causale è particolarmente difficile da provare al di fuori del contesto isolato di un laboratorio e tanto più quando si dovrebbe manifestare ed essere provata in un contesto complesso come quello sociale.
[shareaholic app=”share_buttons” id=”5709362″]
Il problema della causalità è particolarmente importante nella valutazione sommativa quando si cerca di determinare la qualità complessiva di un dato intervento con riguardo particolare all’effetto prodotto, agli impatti di breve, medio e lungo periodo. Dal punto di vista metodologico, il modo migliore per provare l’esistenza di validi legami causali è quello di usare disegni sperimentali che, a partire da un’ipotesi esplicita, consentono di tenere sotto controllo le minacce alla validità che possono compromettere la supposta relazione di causa-effetto. Come ha scritto Alberto Martini il metodo sperimentale rappresenta un caso particolare di un più ampio approccio noto in letteratura come paradigma controfattuale che si serve sia di metodi sperimentali che non sperimentali. Questo approccio è ideale per tutte quelle valutazioni che richiedono di quantificare l’effetto di un particolare intervento, che si propongono cioè di rispondere alla seguente domanda: un dato intervento, messo in campo per affrontare uno specifico problema, ottiene (ovvero causa) i risultati sperati e quindi funziona? Punto critico dell’approccio è la difficoltà di costruzione di una situazione controfattuale che differisca da quella sotto esame per la sola assenza del programma oggetto di indagine; il metodo sperimentale si fonda proprio sulla possibilità di confrontare il gruppo sperimentale con un gruppo di controllo simile a causa della comune assegnazione randomizzata dei casi.
Spesse volte tuttavia, le condizioni di implementazione e di utilizzo delle scoperte valutative, i vincoli di tempo, di budget, di informazioni e competenze, le possibili riserve di ordine etico e altro ancora, rendono difficile se non impossibile l’applicazione del metodo sperimentale ai casi concreti. Che fare dunque? In assenza della prova che esso potrebbe fornire, è possibile sostenere comunque e plausibilmente l’esistenza di qualche tipo di causalità, ovvero affermare che esiti osservabili sono riconducibili ad uno specifico intervento? Possono essere usate altre procedure di ricerca, ispirandosi ad esempio alle tecniche di indagine storica o a quelle di indagine poliziesca o giornalistica?
La scelta di non usare il metodo sperimentale suggerisce innanzitutto l’uso di un disegno che appartenga alla grande famiglia dei metodi quasi-sperimentali (o pre-sperimentali). Se anche questo diventa impossibile non tutto è perduto: l’esperienza ed il buon senso del valutatore dovrebbero aiutare a districarsi in una situazione che trova comunque un certo spazio anche in letteratura dove vengono suggerite astuzie e strategie per confrontarsi con l’insidioso tema della causalità (si veda ad esempio E.J.Davidson, Evaluation methodology basica). Eccone alcune molto basate sul buon senso e molto utili.
1. Fare confronti con un gruppo di controllo o di comparazione costruito ad hoc
I disegni sperimentali prevedono la costruzione di almeno due gruppi (sperimentale e di controllo) attraverso l’assegnazione casuale dei soggetti ad ognuno dei gruppi. Quando il gruppo sperimentale è dato ovvero quando i partecipanti ad un dato programma non possono essere selezionati casualmente, questa condizione ideale può essere approssimata selezionando i membri del gruppo di controllo in modo che la sua composizione risulti quanto più simile a quella del gruppo sperimentale. Per far questo, attraverso una procedura di accoppiamento (matching), possono essere scelti soggetti ognuno dei quali ha il medesimo profilo rispetto ad una serie di variabili pertinenti di quello di un soggetto analogo già inserito nel gruppo sperimentale.
2. Interrogare i soggetti coinvolti nell’intervento
In molti casi buone domande mirate rivolte direttamente ai soggetti che partecipano ad uno specifico programma (o sono a vario titolo coinvolti come beneficiari o portatori di interesse) possono consentire di comprendere e confermare almeno parzialmente l’esistenza di nessi causali. Dal punto di vista metodologico ci sono almeno due possibilità: la prima consiste nel chiedere ai soggetti se e in che modo pensano di essere stati influenzati dall’programma; la seconda consiste nel chiedere informazioni a coloro che sono nella posizione di osservare gli effetti possibili generati sui destinatari dall’intervento (ad esempio, colleghi di lavoro, compagni di classe, famigliari, docenti etc.). E’ possibile ad esempio chiedere il tipo di cambiamento che è stato percepito o chiedere se è stata riscontrata qualche differenza tra il prima e il dopo trattamento.
3. Controllare se specifici risultati del programma (outcomes) corrispondono a specifici contenuti del programma che si sta valutando
In alcuni progetti mirati a cambiare i comportamenti delle persone per modificarne lo status (ad esempio da disoccupato ad occupato; da alcol-dipendente a sobrio) alcuni contenuti progettuali sono finalizzati a fornire ai destinatari capacità che permettano loro di attuare comportamenti specifici o implementare strategie che possano utilizzare per risolvere il problema di cui sono portatori (nella ricerca di lavoro, nel mantenimento della sobrietà etc.). In tal caso è possibile intervistare coloro che hanno ottenuto risultati positivi (ad esempio hanno trovato lavoro) e chiedere loro se per farlo hanno messo in campo i comportamenti o applicato le strategie imparate attraverso l’intervento o se hanno messo in campo altre capacità e altre strategie (ed eventualmente quali).
4. Cercare modelli rivelatori che suggeriscano una causa piuttosto che un’altra
Il consueto modo di operare (modus operandi) è una metafora poliziesca usata per descrivere il modo in cui cause potenziali di spiegazione di specifici accadimenti vengono identificate e testate. Certe catene di eventi lasciano a volte degli indizi che il valutatore può rintracciare per muoversi su e giù per la catena causale che dovrebbe collegare il programma (il sospetto) ai risultati. Partendo dagli effetti osservati si cerca di immaginare cosa li ha causati; in direzione opposta si può partire dal programma e cercare di scendere la catena causale cercando indizi che possano confermare o escludere l’esistenza di meccanismi capaci di generare l’effetto riscontrato.
5. Verificare se i tempi in cui si manifestano i risultati sono sensati rispetto all’intervento.
Il tempo che intercorre tra la realizzazione di un intervento e il manifestarsi di un effetto apprezzabile può variare molto: solitamente tanto più l’effetto è distante nella catena causale tanto più tempo deve trascorrere perché esso appaia. La letteratura specialistica fornisce evidenze in tal senso. Ci sono tre modi per usare queste informazioni a conferma o disconferma di un nesso causale. La prima consiste nel verificare che nessun outcome si realizzi prima che sia implementato e concluso l’intervento oppure che si manifesti troppo tempo dopo la sua conclusione; la seconda consiste nel verificare che l’apparire di un dato outcome possa coincidere con altre possibili cause; il terzo consiste nel verificare che certi effetti previsti nella catena causale non si verifichino fuori sequenza.
6. Verificare se la “dose” somministrata è legata logicamente all’effetto.
Si tratta di una metafora medica riferibile ai test anti-droga per cui si può ipotizzare entro certi limiti che all’aumentare della dose assunta aumenti proporzionalmente la reazione (più dose maggior effetto). Nel disordinato mondo reale capita spesso che un programma con più componenti sia implementato in modo inconsistente, frammentario e diversamente tra le diverse componenti. Se dunque, vengono riscontrati risultati laddove l’intervento non è stato implementato o è stato implementato male vi è una certa evidenza che la causa del cambiamento riscontrato non sia riconducibile alle azioni sviluppate nell’ambito dell’intervento.
7. individuare e analizzare i meccanismi causali del programma tramite modelli logici
Un modello logico è uno strumento che consente di descrivere la teoria del cambiamento che sta dietro uno specifico intervento. La costruzione di un modello logico è una strategia che, pur usando il buon senso, si fonda sulla conoscenza della teoria del cambiamento sociale e richiede dunque la conoscenza delle evidenze causali riportate dalla letteratura e pubblicamente riconosciute come valide. Nel tentativo di capire “come funziona il programma” esso collega graficamente le risorse (inputs), le attività, gli outputs, e gli outcomes (di breve, medio e lungo periodo) in una catena logica. Un siffatto modello non prova l’esistenza di nessi causali ma sicuramente aiuta a chiarire la logica del programma e a disegnare valutazioni centrate e pertinenti.
8. Controllare l’esistenza di variabili estranee attraverso la tecnica della regressione statistica
Se ci sono adeguate informazioni quantitative disponibili, è infine possibile usare la tecnica della regressione statistica per verificare l’esistenza di legami tra variabili e tagliare parzialmente l’effetto di variabili esterne non volute che potrebbero aver influenzato positivamente o negativamente i risultati ottenuti da un dato programma.
Si tratta certo di strategie fondate sul buon senso attraverso le quali sembra difficile pervenire a conclusioni rigorose e, per così dire, tecnicamente ineccepibili; in valutazione tuttavia quello che si cerca è la plausibilità delle conclusioni e la trasparenza del percorso attraverso il quale esse vengono costruite. Se è così la loro applicazione può contribuire a meglio comprendere i possibili nessi causali malgrado non offra le garanzie metodologiche dell’approccio sperimentale e non risponda completamente alle critiche di quanti amano gli approcci che si fondano sul paradigma controfattuale; la cosa importante è non trarre conclusioni causali laddove esistono solo indizi, non dichiarare l’esistenza di effetti (X è causato da Y) dove al massimo si può parlare di risultati (X è riscontrato dopo l’intervento Y). A queste condizioni ogni possibile approccio può contribuire ad una migliore comprensione della qualità di un programma e può aiutare a costruire argomentazioni convincenti in situazioni caratterizzate spesso da pressioni politiche e scarsità di risorse.
