Possiamo fare a meno delle valutazioni?

Negli ultimi anni, le valutazioni sono diventate una pratica consolidata per donatori, enti implementatori e altri attori della cooperazione allo sviluppo e sociale. Ma funziona tutto bene? Questo tema è stato discusso al MEET di Milano il 27 giugno, in un seminario organizzato da Fondazione PuntoSud EvaluationLab in collaborazione con ChangeLab, L’evento si è svolto nell’ambito dell’Open Day dell’Innovazione promosso da Innovazione per lo Sviluppo, un programma di Fondazione Cariplo e Fondazione Compagnia di San Paolo e al fine di comprendere da diverse prospettive – del donatore, dell’ente attuatore e del valutatore – l’effettivo contributo che queste ricerche apportano alla qualità della cooperazione allo sviluppo e sociale.

La risposta unanime dei relatori invitati è stata che, sì, le valutazioni sono utili, ma devono essere accompagnate da alcune condizioni affinché non si corra il rischio di condurre esercizi dispendiosi, frustranti e, alla fine, poco utili.

L’attenzione non si è concentrata sui metodi, che si sono notevolmente sviluppati negli ultimi anni, né su altre questioni più ampie, come le valutazioni di programmi, progetti o politiche. Invece, si è analizzato l’ambiente che influisce sull’identificazione e lo sviluppo di una valutazione efficace.

È emerso che uno dei punti fondamentali è il tipo di coinvolgimento degli attori che può fare la differenza affinché uno studio qualitativo sia veramente efficace. Quando le valutazioni vengono imposte dall’alto, senza processi fortemente partecipativi che coinvolgono gli stessi beneficiari, si attivano meccanismi opportunistici che portano a misurare solo i dati più semplici, a rendicontare solo le attività e gli output. Questo tipo di valutazione si concentra sulla rendicontazione di ciò che è stato fatto, senza comprendere come quanto fatto abbia contribuito a reali cambiamenti e per quali ragioni, e quindi senza apportare un reale contributo all’apprendimento. Anche gli enti valutatori possono incappare in pratiche poco virtuose, ad esempio non spiegando le scelte metodologiche, in particolare perché sono considerate le più appropriate.

La relazione tra donatore e implementatore è quindi di fondamentale importanza. Richiede non solo competenze, ma anche una vera volontà di capire, da entrambe le parti, cosa può essere valutato, per quale motivo e per chi. Inoltre, è stata evidenziata una differenza tra le capacità delle ONG che svolgono attività di cooperazione allo sviluppo e quelle che si occupano principalmente di cooperazione sociale, con le prime che hanno una maggiore cultura dei dati e sono più preparate a raccoglierli. In generale, tuttavia, in Italia la cultura dei dati non è ancora pienamente assimilata e spesso gli enti si trovano impreparati quando partecipano a un bando, ad esempio, e non allocano le risorse per la loro raccolta, elaborazione e capitalizzazione.

C’è anche un problema legato ai tempi delle valutazioni, che spesso arrivano troppo tardi, quando molte decisioni sono già state prese senza una chiara domanda valutativa o quando la valutazione stessa non consente di capitalizzare i risultati di un programma prima di avviarne uno nuovo. In sintesi, viene avviato un nuovo programma prima che la valutazione dell’iniziativa in corso sia conclusa correttamente.

Inoltre, la valutazione è ancora vista come uno strumento di controllo, separato da una cultura e da una pratica di gestione delle conoscenze, cioè un investimento nell’apprendimento continuo. Questo comporta sia un forte coinvolgimento da parte dei soggetti che richiedono la valutazione sia il coinvolgimento delle organizzazioni nel loro complesso e non limitarsi a un adempimento in capo alla figura responsabile del progetto o del programma.

Quali esperienze si sono rilevate capaci di portare la valutazione a essere riconosciuta come un indispensabile investimento per i donatori, gli implementatori e gli altri attori coinvolti in un progetto o programma?

In primo luogo, è stato evidenziato che è stato fondamentale avviare un dialogo tra questi soggetti fin dalla fase di progettazione. Ciò ha consentito di essere più accurati nella formulazione della domanda valutativa, focalizzandosi sui cambiamenti che si intendono apportare. Questa fase è stata facilitata quando i donatori e gli enti avevano una chiara programmazione interna pluriennale, che permetteva di identificare un punto d’incontro tra i due soggetti e di formulare poche domande di ricerca su alcuni risultati prioritari condivisi su cui basare la valutazione.

Tuttavia, alla base di tutto c’è il tema dell’apprendimento. La valutazione non è mai stata veramente utile se non quando è diventata uno strumento fondamentale di riflessione e crescita per tutti gli attori coinvolti. Al contrario, la valutazione è risultata davvero utile quando ha promosso soluzioni o ha aiutato a modificare ciò che facciamo, spingendoci a porci domande e a trovare soluzioni coraggiose. Molti rapporti, invece, sembrano tutti uguali. Le valutazioni si sono rilevate efficaci quando si è investito meno su ciò che era già sostanzialmente percepito o noto e investire di più su aspetti che sono rimasti un po’ nascosti. Le conferme sono certamente importanti, ma è altrettanto essenziale sollevare domande meno ovvie per aprire nuove strade.

All’ente valutatore non dovrebbe essere chiesto, come spesso succede, un’analisi di tutti i criteri OCSE/DAC, ma dovrebbe essere richiesto un impegno, già in fase di progettazione, atto a facilitare un processo, da percorrere attraverso lo studio valutativo, in grado di rispondere alle reali esigenze conoscitive dei soggetti coinvolti. Dovrebbero essere fatte delle scelte, coraggiose e utili, per concentrare il momento di valutazione su pochi elementi chiave, in grado di promuovere un percorso di comprensione e crescita. L’esercizio valutativo, insomma, dovrebbe essere un momento in cui chi implementa un progetto accoglie l’ente valutatore dicendo “finalmente sei arrivato!”, a testimonianza che la valutazione è effettivamente percepita come un’opportunità sostanziale di apprendimento. Un lavoro di squadra che valorizzi i dati, le informazioni e favorisca l’individuazione dei punti critici, contribuendo a una migliore comprensione degli elementi fondamentali per avviare nuovi interventi.

Di conseguenza, torna alla ribalta l’importanza di investire nella formazione, riconoscendo che il progetto valutato è parte di un programma più ampio. I progetti, secondo questa lettura, sono pertanto dei passaggi di un percorso che vede il miglioramento della strategia complessiva, dell’ente attuatore o del donatore, al vertice dell’interesse.

In questo contesto, emerge ancora il ruolo dell’ente valutatore, che non può essere neutrale né nascosto. Un ruolo che deve essere assunto con la responsabilità di agevolare un percorso che deve avere l’ambizione di nutrire i soggetti coinvolti, a partire dalle loro richieste di conoscenza. L’ente valutatore deve, pertanto, essere in grado di dialogare e di garantire il dialogo tra gli attori interessati e deve mirare a fornire poche raccomandazioni ben strutturate, indirizzate chiaramente ai vari soggetti e davvero rilevanti (massimo due o tre), in grado di essere recepite per essere, idealmente, integrate nei percorsi formativi interni di questi enti.

Quali conclusioni possono quindi essere formulate? Quali condizioni e approcci posso rendere utile la valutazione per tutti, dai finanziatori ai beneficiari? Come sintesi se ne propongono tre, rivolte ai soggetti che il seminario ha cercato di valorizzare.

• Gli enti donatori dovrebbero focalizzarsi e incoraggiare gli enti implementatori a concentrarsi su poche priorità nella valutazione. Dovrebbero promuovere un processo valutativo, flessibile, che sia capace di rispondere alle reali esigenze di apprendimento proprie e degli enti coinvolti, per favorire la realizzazione di lavori differenziati in base alle reali opportunità e potenzialità che emergono considerando l’ente, gli attori e il contesto nel suo insieme.
• Gli enti attuatori dovrebbero chiarire in modo inequivocabile come e per chi il lavoro valutativo può portare vantaggi alle future progettazioni. Dovrebbero promuovere con coraggio un dialogo con l’ente valutatore che ponga al centro l’effetto reale e realistico che la valutazione potrebbe avere sullo sviluppo dell’ente e del contesto operativo, ponendo anche attenzione alla divulgazione dei risultati (outcome), andando oltre la rendicontazione delle attività e degli output.
• Gli enti valutatori, infine, dovrebbero spingersi con maggiore forza nel ruolo di agente di apprendimento, cercando di aiutare a far emergere quelle (poche) domande valutative di reale interesse per l’ente e gli altri soggetti coinvolti. Dovrebbero inoltre esplicitare al meglio le ragioni delle scelte proposte mettendo maggiormente al centro l’elaborazione di “raccomandazioni” realmente utili per le future progettazioni (Sono realistiche? Possono attivare nuovi meccanismi? Come?).

Si tratta, insomma, di un campo di studio ancora aperto, sul quale occorrerà certamente investire, correggere e imparare.

All’evento hanno partecipato Federico Bastia (Fondazione PuntoSud), Bruna Bellini (Fondazione Cariplo), Irene Bengo (Politecnico di Milano – Centro di Ricerca TIRESIA), Cristiana De Paoli (Save the Children Italia), Christian Elevati (Mapping Change), Laura Fantini (Consulente indipendente), Laura Fascendini (Fondazione PuntoSud), Silvia Piscitelli (Croce Rossa Italiana), Andrea Stroppiana (Consulente indipendente AICS).