Analisi dei bisogni -> Valutazione formativa -> Valutazione sommativa
Scopo principale della valutazione sommativa è quello supportare il processo decisionale fornendo indicazioni precise circa la qualità o il valore complessivo di un programma, un progetto, un servizio, una performance organizzativa o personale. Si tratta di una valutazione condotta con l’obiettivo di “rendicontare” un dato “evaluando” producendo informazioni adeguate ad alimentare un dibattito pubblico su di esso. La seguente citazione (ripresa da Stake, in Scriven 1991) illustra visivamente la differenza tra valutazione formativa e sommativa: “quando il cuoco assaggia la minestra è valutazione formativa, quando la assaggia il cliente è valutazione sommativa”.
Altre denominazioni
Summative evaluation; da alcuni ritenuta quasi sinonimo di valutazione di esito e di risultato, ricerca valutativa. In altri contesti valutazione del cliente, valutazione della performance. Secondo alcuni autori sono tipi di valutazione sommativa il monitoraggio e l’auditing (ovvero la verifica dell’adeguatezza rispetto a requisiti legali ed etici o rispetto agli standard di rendicontazione finanziaria), gli studi di outcomes (comprensione dei cambiamenti di conoscenza, atteggiamento e comportamento derivanti da un dato intervento), la valutazione di impatto, le misure di performance e la valutazione della qualità (che concentra l’attenzione sulle relazioni che legano inputs, processi, outputs e outcomes).
Descrizione
La valutazione sommativa è il processo attraverso il quale si arriva a stabilire un giudizio “sull’evaluand” (l’oggetto che viene valutato) e il suo valore (M.Scriven). Il giudizio viene solitamente costruito confrontando lo stato della situazione sotto esame con quello di un analogo progetto, con una situazione controfattuale o con degli standard fissati a priori in relazione ad obiettivi espliciti. Lo scopo è quindi quello di raccogliere informazioni adeguate a sostenere questo confronto, solitamente espresso da un disegno di valutazione, in modo da produrre un rapporto di valutazione nel quale saranno contenute le conclusioni, i suggerimenti e le raccomandazioni. La valutazione sommativa rappresenta un tipo di valutazione intuitivamente comprensibile anche al non esperto poiché sembra rispondere a domande semplici sul risultato del programma (o sulla qualità complessiva dell’evaluando): questa apparente semplicità nasconde tuttavia molte complicazioni di ordine teorico, metodologico ed etico. Effettivamente l’esito di una valutazione sommativa può essere socialmente rilevante e molto temuto: un progetto può essere rigettato, un programma “stroncato” insieme ai suoi promotori, un candidato “bocciato” e così via.
Approccio
Alcuni considerano questo tipo di valutazione (seppur variamente denominata e solitamente nella accezione di ricerca valutativa o valutazione quantitativa di esito o impatto) come “la valutazione” per eccellenza: secondo i sostenitori di questa visione essa possiede quelle caratteristiche di scientificità (una teoria, un metodo, strumenti rigorosamente controllati, metodi di analisi rigorosi) che garantiscono di ottenere sotto condizioni specifiche asserti ad un tempo oggettivamente veri e tecnicamente validi. Se si considera l’evaluando come una variabile interveniente in un contesto e destinata a produrre un cambiamento atteso su altre variabili, solo l’uso di quelle specifiche tecniche consente di tenere sotto controllo il problema della causalità e di affermare dunque che il cambiamento misurato dipende causalmente dall’intervento e non da altro. E’ l’approccio fatto proprio dalla ricerca valutativa che cerca di adottare sistematicamente (ovvero quando è possibile) il disegno sperimentale basato sulla scelta randomizzata di soggetti da inserire in gruppi sperimentali e gruppi di controllo (o almeno di avvicinarsi quanto più possibile a questo modello ideale).
Altri professionisti e cultori della materia, forse più vicini al mondo manageriale che a quello scientifico, preferiscono concentrare l’attenzione su sistemi di indicatori e indici seguendo la tradizione consolidata della valutazione (e gestione) per obiettivi. Si tratta di una tradizione molto più vicina all’esigenza di fare e verificare (come insegna la logica della Qualità Totale: Plan-Do-Check-Act) che a quella di produrre prove causali e generalizzazioni empiriche che ha determinato il successo della ricerca scientifica.
Altri ancora, privilegiando un approccio più qualitativo e costruttivista preferiscono lavorare sulle relazioni, sui dati testuali e sull’uso di modelli e strategie che possono aiutare a ricostruire nessi causali (e a comprendere la qualità complessiva di un “evaluando”), seguendo tecniche come quella dell’indagine giornalistica o poliziesca che possono persuadere e convincere le audiences di riferimento allo stesso modo in cui un Pubblico Ministero riesce a convincere una giuria.
Estremizzando un pò le caratteristiche salienti in rapporto a quelle tipiche della valutazione formativa, la valutazione sommativa si caratterizza per il profilo seguente.
- Audiences primarie del processo di valutazione sommativa sono spesso i decisori pubblici, i policy makers, i finanziatori ed eventualmente la popolazione coinvolta.
- Durante la raccolta dati l’enfasi è sulla documentazione degli outcomes, sull’analisi finale della implementazione e sugli outputs (“prodotti” in uscita), sugli esiti e sugli impatti.
- Il valutatore è orientato alla indipendenza nei confronti degli altri agenti, si interpreta spesso come un metodologo esterno, altre volte come uno scienziato neutrale o un giudice.
- Per il valutatore managers e sviluppatori del programma, clienti, destinatarie beneficiari dell’intervento (o altro evaluando) sono soprattutto dei fornitori di dati.
- La metodologia prevede l’uso di dati quantitativi a volte corroborati da dati qualitativi scelti e costruiti ad hoc ed usati per supportare le evidenze quantitative. I disegni di ricerca adottati cercano sovente di affrontare e tenere sotto controllo il problema della causalità. Si usano molto disegni sperimentali o quasi sperimentali o tecniche piuttosto raffinate di controllo statistico dei dati.
- La raccolta dati è limitata di solito al periodo di fine programma o componente da valutare.
- Il report è unico e finale costruito in base alla “retorica scientifica ufficiale”. Gli argomenti del report mettono in risalto relazioni tra variabili, affermano stati di fatto sostenuti dalla forza della buona statistica.
- La credibilità delle informazioni prodotte dipende dal rigore scientifico e dalla imparzialità.
Campo di applicazione
Piani, programmi, progetti, azioni, servizi, performance
- Per rendicontare a finanziatori, managers, portatori di interessi circa i risultati raggiunti, gli impatti, le risorse allocate, l’eventuale ritorno dell’investimento (ROI.)
- Per fare scelte tra opzioni differenti quando esistono più opzioni.
- Per decidere se proseguire o meno un dato intervento, se continuare finanziare un servizio o continuare la produzione di un bene.
- Per mostrare l’impatto di un prodotto o servizio e mostrarne l’utilità per i clienti e gli utenti.
- Per sviluppare analisi competitive con i concorrenti eventuali usando la logica del confronto sistematico (benchmarking)
Cosa fa il valutatore
E’ un ricercatore che cerca di costruire solide basi per confrontare quanto raggiunto dal programma con qualche tipo di criterio, quale ad esempio un altro programma, gli obiettivi o i costi previsti, uno o più gruppi di controllo che possano costituire una situazione controfattuale.
Domande chiave
La richiesta di valutazione formativa nasce dalla volontà di capire se un evaluando ha funziona ed ha ottenuto risultati commensurati agli obiettivi e agli sforzi messi in campo per realizzarlo.
Il punto di vista della committenza e delle audiences
In che grado un dato programma ha raggiunto i suoi obiettivi? Il programma o una sua componente è replicabile in altri contesti? Quale è il valore dei risultati rispetto ai costi? Che benefici ne hanno tratto i beneficiari? Questa politica, programma o progetto è migliore di un altra equivalente?
Il punto di vista del valutatore
Il programma è efficace, ha raggiunto gli obiettivi? Ci sono stati effetti inattesi, positivo o negativi? Che conclusioni si possono trarre sull’effetto del programma e sulle sue singole componenti? Il programma potrà essere implementato in altri contesti? potrà essere ripetuto?
Avvertenze e raccomandazioni
Se lo scopo della valutazione formativa è il miglioramento (e quindi l’apprendimento) sostenuto dal fatto che essa solitamente accompagna lo sviluppo dell’evaluando, la valutazione sommativa è più centrata sull’esigenza di render conto a soggetti terzi. Proprio la legittimazione sociale, i pregiudizi, le aspettative implicite ed esplicite e il grado di fiducia che i soggetti che si sentono valutati (poichè partecipano direttamente o indirettamente all’evaluando) associano a questi soggetti terzi (e viceversa) determina spesso un clima di sospetto nei riguardi della valutazione. nessuno e per nessun motivo accetta di buon grado di farsi valutare (o di veder valutato il proprio lavoro) da soggetti che percepisce come “avversari” e ai quali non riconosce legittimazione.
Riferimenti & risorse
P.H.Rossi, HE. Freeman, Evaluation. A sistematic approach
Disegni sperimentali, pre-sperimentali e quas sperimentali
.
.
Più commentati