9 reptes per a una bona avaluació a les entitats

Moltes entitats del Tercer Sector realitzen accions d’atenció a necessitats socials alineades amb la de les administracions públiques. En aquest sentit, per saber si són realment transformadores i quina efectivitat tenen, cal fer una bona avaluació. La planificació, la mesura i l'anàlisi es converteixen doncs en els tres elements necessaris d'una eina que permet a les entitats valorar globalment els seus processos i resultats.

Arran d’un informe elaborat per la Taula del Tercer Sector Social de Catalunya i Ivàlua, es presenten un seguit de propostes de millora per consolidar els diferents tipus d’avaluació en el disseny i implementació dels programes, tant a curt, mitjà i llarg termini. Els criteris que s’han tingut en compte, en aquesta línia, giren al voltant de les principals fases del cicle dels programes: disseny, implementació i tancament.

A continuació es presenten els 9 reptes i propostes de millora per a la introducció de l’avaluació a les entitats del Tercer Sector Social:

1. Prioritzar la descripció de les necessitats del col·lectiu a la descripció general de la problemàtica

Sovint  en els diagnòstics dels programes de les entitats es descriuen les problemàtiques que aquestes aborden. No obstant això, rarament s’inclou una identificació de les necessitats específiques d’aquest col·lectiu.

En les estratègies de col·laboració públicoprivades per a la prestació de determinats serveis, les entitats han de ser capaces de realitzar una presentació estructurada i amb dades quantitatives de les necessitats del col·lectiu que el programa ajuda a resoldre, i no tant del problema general que pateix aquest col·lectiu.

2. Establir mecanismes per valorar les diferents intensitats en les necessitats del col·lectiu

Un cop tenim les necessitats del col·lectiu amb el que treballa l’entitat detectades, un nou repte serà perfilar quines necessitats específiques tenen totes les persones destinatàries del programa.

En aquest segon repte, és necessari que l’entitat estableixi diferents nivells d’intensitat d’una problemàtica social, per tal d’establir mecanismes de valoració de tots els nivells. Aquesta tasca permetrà elaborar estratègies d’acompanyament diferenciades i adaptades a la diversitat del col·lectiu.

3. Incorporar indicadors de prevalença i de cobertura

El repte del programa d’atenció seria incloure dades específiques dels àmbits territorials on es desenvolupen els programes, per poder valorar la pertinença dels mateixos i posar en valor els serveis proveïts per les entitats impulsores.

L’entitat ha de conèixer el nombre actual de persones del seu col·lectiu a la ciutat on actua i a Catalunya. Això permetrà conèixer la taxa de cobertura de la població amb aquesta problemàtica, ja que si no, només es coneixeria aquella que actualment atén l’entitat. En aquest sentit, pot existir la creença que la proporció de persones ateses és petita.

4. Entendre el programa d’intervenció com a una hipòtesi que cal testar

Els documents on es desglossen les estratègies d’intervenció no només han de possibilitar la seva comprensió, sinó que també han de partir de teories raonables que els programes han de sotmetre a la praxi, és a dir, a l’avaluació i la validació. Les hipòtesis de les nostres intervencions s’han de testar a la pràctica i esbrinar què passa, i no donar-les com a exitoses d’inici.

Un repte seria, en aquest cas, utilitzar evidències empíriques de programes similars per a justificar el disseny dels programes, millorant la seva formulació a través de la teoria del canvi.

L'avaluació és l'assignatura pendent de moltes entitats socials, tot i ser indispensable per saber l'impacte real dels projectes. A la @Taula3sector t'ajudem amb un toolkit d'@Ivalua_Cat, ideat per al #tercersector amb eines per aplicar a la pràctica. https://t.co/XGfNl4E0g9 pic.twitter.com/6bozrjBVBw

— Taula Tercer Sector (@Taula3sector) June 20, 2020

5. Precisar i explicar els beneficis dels programes o intervencions

Concretar els objectius, accions, recursos, productes i efectes esperats és un component molt important de cara a possibilitar el seguiment i l’avaluació dels programes. Molts documents, no obstant això, no presenten aquest nivell de precisió sobre les línies d’actuació del programa d’intervenció.

Afegir què s’espera, és a dir, els beneficis desitjats, pot contribuir a avaluar els programes i trobar explicacions a les diferències en relació amb la formulació realitzada. En aquest sentit, els indicadors s’han de referir a la realització de les activitats i els efectes esperats del programa.

Així doncs, hi hauria d’haver dos tipus d’indicadors. D’una banda,  els indicadors outputs en referència a l’assoliment de les accions realitzades (nombre de persones ateses, nombre d’hores de formació...) i els indicadors d’impacte o outcomes que indicarien els efectes de transformació del programa (millora de l’autonomia personal).

6. Adequar els sistemes d’informació dels programes per al registre diferenciat dels outputs i outcomes

Poques entitats adapten els seus sistemes de gestió de la informació (CRM, base de dades, etc.,) per poder valorar els indicadors tant d’outputs com d’outcomes que hem assenyalat en el punt anterior. En aquest nou repte, és necessari que les eines de gestió de la informació permetin registrar els itineraris d’atenció de les persones beneficiàries i la seva participació en les diverses activitats.

Així doncs, el repte seria dissenyar un sistema d’indicadors i un pla de seguiment anual que l’acompanyi i que estableixi la periodicitat del registre dels indicadors i la seva revisió. L’objectiu és possibilitat la generació d’evidències periòdiques sobre l’avenç tant dels outputs com dels outcomes. De la mateixa manera, aquesta acció s’hauria d’acompanyar d’una millora de l’eina de valoració i de registre dels canvis que es facin.

7. Posar de manifest els interessos de l’avaluació i el tipus d’avaluació previstos per les diferents intervencions

El repte en aquest cas seria garantir les condicions d’avaluabilitat del programa millorant-ne el disseny i els mecanismes de valoració de les necessitats i dels progressos esdevinguts. En aquest apartat, cal formular-se preguntes per a l’avaluació en diferents àmbits del programa: les necessitats, el disseny, la implementació, l’impacte i l’avaluació econòmica.

Les entitats, en aquest punt, han de formular els interessos que motiven l’avaluació, les preguntes d’indagació i la seva tipologia. També s’ha d’assenyalar quin tipus d’avaluació es prioritza en detriment de quins no.

8. Enfocar el disseny del programa per esbrinar el seu efecte

El disseny de l’estratègia que desplega el programa determina la viabilitat de l’avaluació d’impacte. Les entitats compten sovint amb dades sobre les condicions de vida de les persones beneficiàries del programa (outcomes) en dos moments, després i abans d’accedir als programes.

No obstant això, aquestes dades no permeten establir una relació causa-efecte ja que no consideren què passaria amb aquestes persones en absència del programa. Un repte per a les entitats seria adequar els mecanismes d’entrada de les persones beneficiàries al programa per a possibilitar l’existència de grups comparables.

En aquest sentit, sobre aquests grups comparables es podrien avaluar els canvis esdevinguts amb i sense el programa per a les persones usuàries que s’han beneficiat de l’acció de l’entitat.

9. Comparativa dels principals reptes detectats

Els reptes anteriors es valoren com a estratègics per a l’avaluació dels programes. Tot i això, es destaca el fet que alguns d’ells acostumen a presentar-se de manera més freqüent. En aquest sentit, els reptes al voltant del disseny i la formulació dels programes que possibilitin la seva avaluació són els més freqüents.