Studi di outcomes

Studi di outcomes

Scopo principale di uno studio di outcomes (o di valutazione dell’outcomes) è quello di verificare in che grado gli obiettivi dichiarati di uno specifico programma o progetto sono (o non sono) raggiunti; l’obiettivo è dunque quello di verificare il grado di raggiungimento di specifici cambiamenti che possono riguardare di volta in volta conoscenze, atteggiamenti, comportamenti, valori, competenze, percezioni, grado di soddisfazione (o altro ancora); l’ipotesi di lavoro è che tali cambiamenti siano direttamente connessi agli obiettivi pianificati e descritti in un programma o progetto mirato.  Questo tipo di valutazione può essere ricondotta nell’ambito della valutazione sommativa della quale rappresenta un sottoinsieme particolarmente specializzato e semplificato..

Altre denominazioni

Outcomes evaluation, studi di outcomes, outcomes study, objectives-based evaluation, valutazione basata sugli obiettivi, valutazione dei risultati.

Descrizione

Tra tutti gli aspetti valutabili di un progetto, di un programma o di un servizio, questo tipo di valutazione concentra l’attenzione in via esclusiva sugli outcomes (ovvero sui risultati, sugli esiti, sui cambiamenti prodotti sui destinatari diretti (target) dell’azione); questi sono solitamente espressi in un sottoinsieme specifico degli obiettivi del programma ovvero descritti come risultati attesi. Spesse volte una valutazione di outcomes si concentra su un singolo aspetto; infatti, questo tipo di valutazione è finalizzata a comprendere i cambiamenti attesi in termini di conoscenze, atteggiamenti, comportamenti o altro ancora, che dovrebbero risultare su un target chiaramente individuato, per effetto di un progetto o di un programma. Elemento centrale è la descrizione puntuale della gerarchia degli obiettivi (scopi, obiettivi, sotto-obiettivi, attività, indicatori) che devono essere coerenti con gli scopi e le finalità del programma, definiti in termini osservabili e misurabili. questa esigenza suggerisce fortemente la partecipazione del valutatore già in fase di progettazione dell’intervento per fissare con chiarezza strumenti ed indicatori adeguati a sostenere la valutazione degli obiettivi.

Approccio

La valutazione di outcomes essendo mirata a comprendere il grado di ottenimento di scopi ed obiettivi prefissati può riguardare aspetti di tipo affettivo quali ad esempio la soddisfazione derivante per aver partecipato a qualche tipo di attività, aspetti di tipo cognitivo come le conoscenze e gli atteggiamenti o aspetti comportamentali quali ad esempio la riduzione nel consumo di alcool. Questi aspetti riguardano solitamente i beneficiari diretti dell’intervento, i clienti, ma potrebbero riguardare anche altri tipi di stakeholder implicati nel programma. L’attenzione principale è concentrata sugli obiettivi espliciti e dichiarati: proprio per questo è importante prestare attenzione anche ai possibili effetti inattesi, positivi o negativi. Di particolare rilevanza è quindi la chiarificazione degli obiettivi con riguardo particolare alla verifica della loro concreta misurabilità.

La valutazione di outcomes può essere sviluppata in sette fasi consecutive secondo il disegno seguente.

  1. Fissare i confini della valutazione. Come sempre il valutatore deve individuare il target dell’intervento, i beneficiari e i clienti, gli stakeholders e le audiences interessate alla valutazione. Deve esplorare il significato degli obiettivi dichiarati e comprendere il contesto complessivo della valutazione.
  2. Identificare l’outcome o gli outcomes su cui concentrare l’attenzione. Spesse volte gli obiettivi dichiarati ufficialmente in un programma o progetto sono una rappresentazione retorica che solo con notevole difficoltà ed una certa fantasia possono essere definiti obiettivi ben formati e ben descritti; una chiarificazione concettuale diventa quindi opportuna prima di ordinare e di scegliere gli obiettivi prioritari sui quali concentrare l’attenzione.
  3. Scegliere gli indicatori e fissare standard. Per quanto possibile ogni obiettivo specificato, ogni outcome, deve essere misurato ed espresso attraverso un indicatore sintetico; per giudicare la qualità dell’indice numerico che viene generato è buona norma stabilire almeno uno standard minimo, ovvero una soglia superata la quale il risultato può essere giudicato soddisfacente.
  4. Scegliere o costruire gli strumenti per la raccolta di informazioni. Questionari e tests sono tipici strumenti che possono essere utilizzati per la valutazione dell’outcome purché siano in grado di garantire sensibilità, attendibilità e validità. Tali garanzie sono possedute da molti strumenti validati reperibili sul mercato; in caso contrario gli strumenti dovranno essere validati come ampiamente descritto in letteratura.
  5. Pianificare la rilevazione e realizzare la raccolta di informazioni. L’uso di test e materiali validati implica solamente il rispetto delle condizioni d’uso e l’adozione dei protocolli che sono parte integrante della strumentazione; più in generale devono essere rispettate le regole canoniche della ricerca sociale per garantire la qualità del dato raccolto.
  6. Analizzare i dati e costruire il giudizio valutativo. L’informazione raccolta viene solitamente organizzata in una matrice “casi X variabili” e trattata attraverso procedure statistiche standard. la costruzione del giudizio valutativa utilizzando l’informazione elaborata richiede sempre un confronto con qualche tipo di standard definito (solitamente) a priori: un situazione controfattuale, un gruppo di controllo, uno standard derivante da una decisione, dalla storia di utilizzo di un test, da un confronto temporale (prima-dopo), da una buona pratica misurata allo stesso modo e così via.
  7. Costruire il rapporto di valutazione e discutere i risultati. Il rapporto deve contenere le informazioni indispensabili per giudicare il grado di raggiungimento degli obiettivi, le condizioni d’uso di queste informazioni, gli eventuali suggerimenti e le raccomandazioni per l’uso e per il miglioramento.

Cosa fa il valutatore

Il valutatore è un ricercatore sociale e un metodologo; in qualità di metodologo egli aiuta a chiarire i sitemi di obiettivi, a giudicarne la coerenza anche rispetto agli scopi generali, verifica la loro misurabilità sotto le condizioni e i vincoli del contesto specifico, aiuta ad ordinare e selezionare gli obiettivi prioritari, cerca metodi e strumenti adatti per misurare gli obiettivi e definisce indicatori validi ed attendibili. Come ricercatore raccoglie ed elabora le informazioni e fornisce i risultati alle audiences interessate alla valutazione.

Domande chiave

Il punto di vista della committenza e delle audiences

  • In che misura il programma ha raggiunto il suo scopo?
  • Gli obiettivi sono stati raggiunti? In caso affermativo, in che grado?
  • Si sono manifestati i cambiamenti attesi (outcomes) sulla popolazione target?

Il punto di vista del valutatore:

  • Ci sono dei progressi che vanno nella direzione degli obiettivi fissati?
  • Quali sono gli obiettivi del progetto? Esiste una coerenza tra obiettivi e sotto-obiettivi e tra obiettivi e scopi o finalità del programma?
  • Esiste coerenza tra obiettivi dichiarati ed azioni realizzate? Esiste coerenza tra azioni e target dei destinatari?
  • Gli obiettivi sono chiaramente definiti? Gli outcomes sono espressi in modo chiaro e credibile in termini di cambiamento atteso?
  • Quali sono gli obiettivi e i sotto-obiettivi essenziali per raggiungere gli scopi dichiarati del programma? E’ possibile individuare e selezionareoutcomes prioritari o obiettivi prioritari?
  • In che modo possono essere misurati gli obiettivi (outcomes)? Esistono degli strumenti adeguati per la misurazione? Oppure essi devono essere costruiti e validati ex-novo?
  • Esistono in letteratura esperienze valutative analoghe? Quali risultati riportano?
  • Esiste uno standard minimo oltre il quale il giudizio può essere positivo? Esistono degli standard esterni garantiti ad esempio dal passato utilizzo di un test già validato?
  • Ci sono altri esiti associati al programma che non erano inizialmente previsti?

Avvertenze e raccomandazioni

La valutazione di outcomes assume senso e significato compiuto se le teorie causali sottostanti alle catene di obiettivi sono valide e comunque chiaramente espresse. Spesse volte questo non succede e gli obiettivi devono essere rivisti a causa della scarsa coerenza o per l’inesattezza della descrizione. Altre volte a fronte degli obiettivi sono espressi a priori anche gli indicatori che tuttavia non risultano misurabile a causa delle difficoltà e del costo di raccolta delle informazioni necessarie. Per questi motivi lo studio finisce spesso per trasformarsi in una valutazione sommativa o in una consulenza valutativa che porta a rivedere e riconsiderare le catene di obiettivi e le modalità di misurazione.

E’ importante notare che una valutazione centrata sugli obiettivi, per quanto utile e per quanto fortemente affermata (ad esempio in ambito manageriale o scolastico) non risponde direttamente al problema della causalità: per far questo servirebbe l’applicazione di tecniche mutuate dall’approccio controfattuale, in particolare l’utilizzo di disegni di tipo sperimentale.

Riferimenti e risorse

Il presente sito fa uso di cookie. Si rinvia all'informativa estesa per maggiori informazioni

Questo sito utilizza i cookie per fonire la migliore esperienza di navigazione possibile. Continuando a utilizzare questo sito senza modificare le impostazioni dei cookie o clicchi su "Accetta" permetti al loro utilizzo.

Chiudi