Valutazione ex ante. Spunti di riflessione tratti dall’esperienza concreta.

Posted by on 30 gennaio 2017 in Blog | 0 comments

Valutazione ex ante. Spunti di riflessione tratti dall’esperienza concreta.

La valutazione è un campo di ricerca sociale ampio e complesso. Se la si considera in relazione al tempo in cui viene svolta si parla di valutazione che viene fatta prima (ex ante), durante (in itinere) e dopo (ex post) rispetto ad un progetto, un piano, un programma, una politica.Ognuna di queste ha le proprie teorie di riferimento, i propri approcci, metodi e tecniche. Tuttavia l’esperienza pratica è la palestra più importante per generare saperi concretamente spendibili e per acquisire quella competenza che non sempre si riesce a comunicare verbalmente.

La valutazione ex-ante è la valutazione che si attua prima che un progetto/programma/politica (PPP) si implementi al fine di analizzarne “predittivamente” i pro e i contro e, in molti casi, decidere se implementare o no la misura studiata. Viene attuata nei casi in cui non è possibile attuare tutti i PPP possibili per poi valutare quale effettivamente è stato il più efficace. Questo per questioni economiche (non ci sono i soldi per finanziare tutti i PPP) ma anche regolative e/o politiche.

La valutazione ex-ante pone il ricercatore di fronte ad alcune questioni, di fatto ineludibili quanto pesanti:

1 – Si deve valutare la bontà del PPP prima che il PPP stesso venga attuato e, in molti casi, addirittura prima che il PPP venga seriamente preso in considerazione per il finanziamento.

2 – Si deve costruire un set di indicatori che permettano un impianto valutativo che poggia sulle aspettative del committente/finanziatore. Queste aspettative non sempre coincidono con quelle del valutatore che quindi deve svolgere una operazione semantica prima, di condivisione valoriale poi, con il committente. In alcuni casi non si trova un punto d’equilibrio accettabile e quindi il valutatore deve abbandonare l’impresa.

3 – Si deve tarare la “tenuta” del set di indicatori: capacità di discriminare, di premiare ciò che va premiato, consentire una graduatoria di qualità dei vari PPP in esame che faccia emergere i “teoricamente” migliori e li ponga all’attenzione del gruppo decisionale, permettere atti amministrativi di assegnazione di budget in certi casi anche molti consistenti (si pensi ai bandi per i finanziamenti europei).

4 – Si deve svolgere l’attività di valutazione ex ante spesso basandosi esclusivamente su documenti cartacei solo in alcuni casi suffragati da altre esperienze di PPP simili che sono già andati a buon fine e hanno prodotto risultati interessanti.

5 – Si deve essere in grado di giustificare agli occhi del committente, ma anche dei proponenti dei PPP accettati o esclusi, la solidità metodologica delle scelte fatta e la coerenza con le aspettative già esplicitate e condivise.

6 – Si deve in alcuni casi, svolta la prima fase istruttoria, giustificare la scelta fatta a un secondo nucleo di valutazione (fase decisionale). Questo team non necessariamente conosce tutto il percorso professionale svolto e non necessariamente ha tempo per apprenderlo e assimilarlo in tutto il suo spessore.

7 – Si deve arrivare alla formulazione di una graduatoria in cui viene fissata una soglia di accettabilità. Chi sta sopra la soglia accede al finanziamento e chi sta sotto no. Qui si arenano tutti i PPP che essendo (di poco) sotto-soglia diventano le vittime del sistema. Non sapremo mai come avrebbero funzionato di fatto.

Alla luce di esperienza su lavori di questo tipo, credo che non sia sensato l’astio che parte della comunità italiana dei valutatori ha contro questo tipo di valutazione (dichiarando che non ha tutte le caratteristiche per considerarsi valutazione a tutti gli effetti). Può darsi che non sia la “preferita” dai metodologi “creativi” ma si fa molto fatica a pensare, data la burocrazia e la gerarchia presente nei nostri istituti nazionali (ma anche europei), a modalità alternative. Se ci sono i soldi per finanziare un solo PPP e ne vengono presentati dieci è ovvio che una attività di selezione ex ante deve pur essere attuata. Quindi o il sistema regolativo trova delle alternative molto a monte (cosa che non vedo né facile né attesa), oppure non resta che lavorare come sopra indicato. Il fatto che sia possibile disquisire sulle alternative “di sistema” è tanto vero quando appartenente a un ambito argomentativo differente da quello qui affrontato.

Premesso quindi che di valutazione ex-ante si tratta, credo che si possano riassumere alcune attenzioni che aiutano a svolgere bene questo compito, quello del valutatore ex ante per l’appunto.

Direi che:

– E’ necessaria l’apertura mentale che permette di cogliere i valori del committente e del finanziatore e contemporaneamente un’azione di condivisione valoriale (ovviamente non su tutto il conoscibile, ma sui punti cardine che guideranno la pratica valutativa). Questa fase che permette di discriminare tra ciò che è definibile in maniera interattiva “reale” e ciò che non lo è, supporta il passaggio alla fase di affinazione successiva: ciò che è “vero” è di vitale importanza per la legittimità del sistema. Sen questa premessa si può assistere a una implosione inarrestabile del sistema valutativo ipotizzato o, al contrario, alla sua prima legittimazione.

– E’ necessario procedere con rigore metodologico e condivisione d’intenti quando si definiscono gli indicatori e si attribuiscono i relativi pesi, quando si costruiscono le griglie di valutazione, quando si definiscono le modalità di istruttoria che permettono la raccolta di tutte le informazioni propedeutiche all’attribuzione dei punteggi. E’ sicuramente attraverso un processo di condivisione tra i professionisti che a vario titolo coinvolti che si dà autorevolezza ai passaggi metodologici presentati. E’ per questo che contrariamente a quanto si potrebbe pensare la valutazione ex-ante è una valutazione tipologicamente condivisa. Potremmo parlare di valutazione partecipata esattamente come per la valutazione degli outcomes, allo stesso modo ci si orienta prima sui valori e poi sui metodi.

– E’ necessaria una sinergia tra i valutatori. In modo particolare quando i PPP sono tanti e la fase di assegnazione dei punteggi è svolta da più professionisti contemporaneamente, il confronto e l’allineamento degli step valutativi deve essere costante e approfondito. E’ molto facile assegnare mezzo punto in più o in meno (solo) facendo leva sulla propria competenza ed esperienza pregressa. Il riallineamento diventa facile e scontato quando il confronto tra professionisti permette di chiarire la qualità/origine delle discordanze che si evincono. In alcuni casi dipendenti dalle variabili sopracitate (competenza ed esperienza diretta), in altri da differenti interpretazioni del significato degli indicatori o da un diverso apprezzamento di alcune tecnicalità immancabili.

– E’ necessario inoltre applicare con cognizione di causa l’impianto valutativo al possibile gruppo di PPP in esame. Ad esempio, in molti casi le architetture che permettono la valutazione degli FSE devono, per limiti temporali ed economici, consentire la valutazione comparata di tutti i progetti presentati e afferenti un unico bando (indicatori e griglia possono quindi essere gli stessi per tutti). Contemporaneamente il bando può aver previsto finanziamenti di progetti che lavorano per costruire professionalità diverse, o che per le eventuali attività di stage possono costruire differenti reti di aziende/organizzazioni presenti sul territorio dove insistono gli interventi formativi, e così via per altre variabili che differenziano la qualità progettuale. La potremmo chiamare sub-qualità che a sua volte prevede altre sub-qualità. Ma a un certo punto ci si deve fermare e la confrontabilità del processo valutativo è dovuta e auspicabile. In questo caso anche gli indicatori e le griglie si piegano al miglior utilizzo prima pensabile e poi fattibile e anche in questo giocano alcune variabili personali del/dei valutatori: la cultura di appartenenza, la professionalità acquisita, la conoscenza del territorio, le esperienze pregresse, etc. Il confronto tra i valutatori e la conoscenza del contesto abbracciato dai PPP presentati è quindi fondamentale per permettere quella plasticità e quella adattabilità del sistema valutativo che garantisce un buon esito finale. Il rigore si deve bilanciare con la sensibilità valutativa su un continuum che ha un punto d’equilibrio in perenne ridefinizione.

– Infine è necessario l’aggiornamento dei sistemi valutativi. Si corre spesso il rischio di pensare che siccome un buon impianto valutativo ha già ben funzionato una volta, possa rifunzionare una seconda. Tendenzialmente non è così. La revisione di indicatori e griglie è quindi necessaria ogni volta che il processo valutativo riparte. Tale aggiornamento è anche arricchito dai risultati effettivamente raggiunti dai PPP precedentemente finanziati. E’ davvero impressionante l’obsolescenza che un possibile impianto valutativo può incarnare se non c’è un attento e rigoroso impulso alla sua revisione costante. Anche in questo caso il confronto e la definizione di un punto d’equilibrio tra le posizioni che i diversi valutatori possono assumere è importante e da ricercare.

Per concludere direi che le premesse di una valutazione ex-ante ben fatta, aldilà della definizione degli strumenti tecnici da utilizzare, sono:

– la condivisione di valori e significati tra i valutatori e i committenti/finanziatori (e eventualmente altri stakeholder prioritari precedentemente individuati e allertati) in prima battuta, tra i diversi valutatori in seconda.

– la condivisione dei processi valutativi e delle revisioni degli strumenti tra i valutatori.

A pensarci bene è proprio questo continuo argomentare e cercare/trovare un punto d’equilibrio che dà spessore alla valutazione ex ante. Valutazione che, di suo, deve prescindere dalla evidenza più utile: il risultato dell’operatività. Bisogna decidere tutto prima e questo dipende dai valutatori, dalle loro competenze, dalla loro conoscenze, dalle loro abilità relazionali e dalla loro “sensibilità” di professionisti. A questo ci si può affidare ed è questa la migliore garanzia di una valutazione ex-ante ben fatta.

 

Leave a Reply

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Il presente sito fa uso di cookie. Si rinvia all'informativa estesa per maggiori informazioni

Questo sito utilizza i cookie per fonire la migliore esperienza di navigazione possibile. Continuando a utilizzare questo sito senza modificare le impostazioni dei cookie o clicchi su "Accetta" permetti al loro utilizzo.

Chiudi