Scopo principale di uno studio di outcomes (o di valutazione dell’outcomes) è quello di verificare in che grado gli obiettivi dichiarati di uno specifico programma o progetto sono (o non sono) raggiunti; l’obiettivo è dunque quello di verificare il grado di raggiungimento di specifici cambiamenti che possono riguardare di volta in volta conoscenze, atteggiamenti, comportamenti, valori, competenze, percezioni, grado di soddisfazione (o altro ancora); l’ipotesi di lavoro è che tali cambiamenti siano direttamente connessi agli obiettivi pianificati e descritti in un programma o progetto mirato. Questo tipo di valutazione può essere ricondotta nell’ambito della valutazione sommativa della quale rappresenta un sottoinsieme particolarmente specializzato e semplificato..
Altre denominazioni
Outcomes evaluation, studi di outcomes, outcomes study, objectives-based evaluation, valutazione basata sugli obiettivi, valutazione dei risultati.
Descrizione
Tra tutti gli aspetti valutabili di un progetto, di un programma o di un servizio, questo tipo di valutazione concentra l’attenzione in via esclusiva sugli outcomes (ovvero sui risultati, sugli esiti, sui cambiamenti prodotti sui destinatari diretti (target) dell’azione); questi sono solitamente espressi in un sottoinsieme specifico degli obiettivi del programma ovvero descritti come risultati attesi. Spesse volte una valutazione di outcomes si concentra su un singolo aspetto; infatti, questo tipo di valutazione è finalizzata a comprendere i cambiamenti attesi in termini di conoscenze, atteggiamenti, comportamenti o altro ancora, che dovrebbero risultare su un target chiaramente individuato, per effetto di un progetto o di un programma. Elemento centrale è la descrizione puntuale della gerarchia degli obiettivi (scopi, obiettivi, sotto-obiettivi, attività, indicatori) che devono essere coerenti con gli scopi e le finalità del programma, definiti in termini osservabili e misurabili. questa esigenza suggerisce fortemente la partecipazione del valutatore già in fase di progettazione dell’intervento per fissare con chiarezza strumenti ed indicatori adeguati a sostenere la valutazione degli obiettivi.
Approccio
La valutazione di outcomes essendo mirata a comprendere il grado di ottenimento di scopi ed obiettivi prefissati può riguardare aspetti di tipo affettivo quali ad esempio la soddisfazione derivante per aver partecipato a qualche tipo di attività, aspetti di tipo cognitivo come le conoscenze e gli atteggiamenti o aspetti comportamentali quali ad esempio la riduzione nel consumo di alcool. Questi aspetti riguardano solitamente i beneficiari diretti dell’intervento, i clienti, ma potrebbero riguardare anche altri tipi di stakeholder implicati nel programma. L’attenzione principale è concentrata sugli obiettivi espliciti e dichiarati: proprio per questo è importante prestare attenzione anche ai possibili effetti inattesi, positivi o negativi. Di particolare rilevanza è quindi la chiarificazione degli obiettivi con riguardo particolare alla verifica della loro concreta misurabilità.
La valutazione di outcomes può essere sviluppata in sette fasi consecutive secondo il disegno seguente.
- Fissare i confini della valutazione. Come sempre il valutatore deve individuare il target dell’intervento, i beneficiari e i clienti, gli stakeholders e le audiences interessate alla valutazione. Deve esplorare il significato degli obiettivi dichiarati e comprendere il contesto complessivo della valutazione.
- Identificare l’outcome o gli outcomes su cui concentrare l’attenzione. Spesse volte gli obiettivi dichiarati ufficialmente in un programma o progetto sono una rappresentazione retorica che solo con notevole difficoltà ed una certa fantasia possono essere definiti obiettivi ben formati e ben descritti; una chiarificazione concettuale diventa quindi opportuna prima di ordinare e di scegliere gli obiettivi prioritari sui quali concentrare l’attenzione.
- Scegliere gli indicatori e fissare standard. Per quanto possibile ogni obiettivo specificato, ogni outcome, deve essere misurato ed espresso attraverso un indicatore sintetico; per giudicare la qualità dell’indice numerico che viene generato è buona norma stabilire almeno uno standard minimo, ovvero una soglia superata la quale il risultato può essere giudicato soddisfacente.
- Scegliere o costruire gli strumenti per la raccolta di informazioni. Questionari e tests sono tipici strumenti che possono essere utilizzati per la valutazione dell’outcome purché siano in grado di garantire sensibilità, attendibilità e validità. Tali garanzie sono possedute da molti strumenti validati reperibili sul mercato; in caso contrario gli strumenti dovranno essere validati come ampiamente descritto in letteratura.
- Pianificare la rilevazione e realizzare la raccolta di informazioni. L’uso di test e materiali validati implica solamente il rispetto delle condizioni d’uso e l’adozione dei protocolli che sono parte integrante della strumentazione; più in generale devono essere rispettate le regole canoniche della ricerca sociale per garantire la qualità del dato raccolto.
- Analizzare i dati e costruire il giudizio valutativo. L’informazione raccolta viene solitamente organizzata in una matrice “casi X variabili” e trattata attraverso procedure statistiche standard. la costruzione del giudizio valutativa utilizzando l’informazione elaborata richiede sempre un confronto con qualche tipo di standard definito (solitamente) a priori: un situazione controfattuale, un gruppo di controllo, uno standard derivante da una decisione, dalla storia di utilizzo di un test, da un confronto temporale (prima-dopo), da una buona pratica misurata allo stesso modo e così via.
- Costruire il rapporto di valutazione e discutere i risultati. Il rapporto deve contenere le informazioni indispensabili per giudicare il grado di raggiungimento degli obiettivi, le condizioni d’uso di queste informazioni, gli eventuali suggerimenti e le raccomandazioni per l’uso e per il miglioramento.
Cosa fa il valutatore
Il valutatore è un ricercatore sociale e un metodologo; in qualità di metodologo egli aiuta a chiarire i sitemi di obiettivi, a giudicarne la coerenza anche rispetto agli scopi generali, verifica la loro misurabilità sotto le condizioni e i vincoli del contesto specifico, aiuta ad ordinare e selezionare gli obiettivi prioritari, cerca metodi e strumenti adatti per misurare gli obiettivi e definisce indicatori validi ed attendibili. Come ricercatore raccoglie ed elabora le informazioni e fornisce i risultati alle audiences interessate alla valutazione.
Domande chiave
Il punto di vista della committenza e delle audiences
- In che misura il programma ha raggiunto il suo scopo?
- Gli obiettivi sono stati raggiunti? In caso affermativo, in che grado?
- Si sono manifestati i cambiamenti attesi (outcomes) sulla popolazione target?
Il punto di vista del valutatore:
- Ci sono dei progressi che vanno nella direzione degli obiettivi fissati?
- Quali sono gli obiettivi del progetto? Esiste una coerenza tra obiettivi e sotto-obiettivi e tra obiettivi e scopi o finalità del programma?
- Esiste coerenza tra obiettivi dichiarati ed azioni realizzate? Esiste coerenza tra azioni e target dei destinatari?
- Gli obiettivi sono chiaramente definiti? Gli outcomes sono espressi in modo chiaro e credibile in termini di cambiamento atteso?
- Quali sono gli obiettivi e i sotto-obiettivi essenziali per raggiungere gli scopi dichiarati del programma? E’ possibile individuare e selezionareoutcomes prioritari o obiettivi prioritari?
- In che modo possono essere misurati gli obiettivi (outcomes)? Esistono degli strumenti adeguati per la misurazione? Oppure essi devono essere costruiti e validati ex-novo?
- Esistono in letteratura esperienze valutative analoghe? Quali risultati riportano?
- Esiste uno standard minimo oltre il quale il giudizio può essere positivo? Esistono degli standard esterni garantiti ad esempio dal passato utilizzo di un test già validato?
- Ci sono altri esiti associati al programma che non erano inizialmente previsti?
Avvertenze e raccomandazioni
La valutazione di outcomes assume senso e significato compiuto se le teorie causali sottostanti alle catene di obiettivi sono valide e comunque chiaramente espresse. Spesse volte questo non succede e gli obiettivi devono essere rivisti a causa della scarsa coerenza o per l’inesattezza della descrizione. Altre volte a fronte degli obiettivi sono espressi a priori anche gli indicatori che tuttavia non risultano misurabile a causa delle difficoltà e del costo di raccolta delle informazioni necessarie. Per questi motivi lo studio finisce spesso per trasformarsi in una valutazione sommativa o in una consulenza valutativa che porta a rivedere e riconsiderare le catene di obiettivi e le modalità di misurazione.
E’ importante notare che una valutazione centrata sugli obiettivi, per quanto utile e per quanto fortemente affermata (ad esempio in ambito manageriale o scolastico) non risponde direttamente al problema della causalità: per far questo servirebbe l’applicazione di tecniche mutuate dall’approccio controfattuale, in particolare l’utilizzo di disegni di tipo sperimentale.
Più commentati