L’avaluació d’impacte i de les seves confusions conceptuals

Tothom està d’acord que cal avaluar perquè cal rendir comptes amb els finançadors, perquè cal posar en valor l’acció que es desenvolupa, perquè cal explicar si després de l’aplicació de la intervenció s’han produït canvis en la nostra població i si s’ha fet de la manera més eficient possible. Portar aquesta avaluació a la pràctica és complicat, però encara ho és més quan el que volem es confirmar que els canvis observats es poden atribuir a l’aplicació del programa o l’acció social. A més, sovint, quan hi ha la voluntat d’avaluar apareixen barreres econòmiques, però també de coneixements i d’operativització que dificulten als executors de la intervenció portar a terme aquesta tasca avaluadora.

Superar la manca de coneixements per operativitzar l’avaluació té obstacles que a vegades fan desistir a qui vol fer aquesta tasca avaluadora, i això és així per la complexitat que trobem quan comencem a llegir manuals sobre el tema. I és que el primer obstacle apareix quan intentem comprendre el terme “avaluació d’impacte”, ja que no és un concepte unívoc. La seva conceptualització depèn, en part, del paradigma teòric des d’on es planteja. Aquesta confusió conceptual genera desconcert a la pràctica,que es pot superar amb el sentit comú, però també amb el rigor de saber què estem fent i els límits que pot tenir la nostra pràctica.

Hi ha consens en el fet que l’avaluació d’impacte és un tipus específic d’avaluació que busca quantificar els canvis o efectes observats en un temps i espai determinatsa partir de la comparació de, com a mínim, dues mesures que constatin l’impacte d’un projecte, amb la finalitat de millorar la intervenció social, tot fent recomanacions per a la seva correcció, replicabilitat i, si cal, reprogramació o eliminació.

En el nostre entorn sovint hi ha confusions en l’ús del terme, pel que fa a:

Què avaluem? Per parlar d’impacte cal avaluar els efectes, esperats i no esperats, volguts i no volguts. Per tant, cal anar més enllà de saber si hem acomplert amb l’objectiu específic del projecte.

Com avaluem? Si utilitzem una sola mesura (ex-post) no avaluem impacte. Recordem que sempre caldrà tenir una mesura de comparació per conèixer l’efecte que ha tingut el projecte.

Quan avaluem? En algunes definicions d’impacte s’inclou el requisit que s’avaluï l’efecte a mig i llarg termini. Des d’aquesta perspectiva si la mesura d’avaluació es recull just en finalitzar el projecte estarem parlant d’avaluació de resultats.

Qui és el destinatari? En algunes definicions l’impacte ha de fer referència no només als destinataris directes de l’actuació (aquí podríem estar parlant d’avaluació de resultats) sinó al conjunt de la població d’aquell territori on s’inscriu el projecte.

Què volem demostrar? En algunes definicions d’impacte s’inclou el requisit de demostrar que els canvis o efectes observats siguin deguts gràcies a la intervenció que s’avalua. Per tant, caldrà comptar amb escenaris contrafactuals, això és, saber què hauria passat si la intervenció no s’hagués portat a terme.

La confusió principal es trobaria entre l’avaluació de resultats i la d’impacte. Com assenyala Merino, l’avaluació de resultats ha de tenir els seus límits en la intervenció. La d’impacte ha d’anar més enllà d’allò planificat i esperat en la intervenció, tant en terme de població (més enllà de la població destinatària) com en termes d’efectes en el temps (més enllà del temps que dura el projecte).

Per concloure, posaré un exemple sobre la diferència entre avaluar resultats i avaluar impacte, inspirat en el cas que exposa Merino en la seva guia:

Una institució inverteix milers d’euros a realitzar un programa d’inserció laboral per a persones en situació de vulnerabilitat social i per això fa cursos, orientació laboral, prospecció d’empreses i ofereix incentius a les empreses.  Quan s’acaba el programa s’evidencia que s’ha assolit el percentatge d’inserció (resultat esperat), però s’observa que el resultat positiu s’ha produït exclusivament sobre un perfil de participants determinats (resultats no desitjats en la població diana). Passat el temps es constata que els contractes no s’han fet indefinits (impacte en la població destinatària) i que, a més,s’ha produït una baixada de contractació en altres col·lectius no diana del programa (impacte en la societat) perquè les empreses cercaven l’incentiu.  Dit d’una altra manera, malgrat acomplir amb l’objectiu del programa, l’impacte pot ser escàs si no s’aconsegueix la inserció laboral efectiva i de qualitat i si, per tant, la situació inicial no es reverteix. Però també si a curt o mig termini es produeix un efecte negatiu sobre altres col·lectius no contemplats en el programa.

En els cursos monogràfics que recentment he impartit sobre avaluació de programes i projectes puc observar la confusió que es genera quan es parla dels diferents tipus d’avaluació. De moment no hi ha un consens metodològic ni conceptual de com fer avaluacions d’impacte. Allò important, però, és anar fent camí d’una manera honesta, explicant clarament què estem avaluant, amb quina finalitat ho fem i quins mecanismes utilitzem en la nostra pràctica.