Inmaculada Pinar: “Incorporar l’evidència al disseny de programes dona més fiabilitat a les intervencions"

Promoure l'avaluació en el procés de presa de decisions sobre les intervencions que dissenyen i implementen les entitats ha esdevingut una aposta estratègica del tercer sector. En aquest sentit, utilitzar l’evidència per millorar el disseny de programes és una de les claus perquè aquests siguin més eficaços i compleixin els objectius fixats. Conversem sobre tot plegat amb la Inmaculada Pinar, codirectora de la Fundació Joia, que el 7 d’octubre imparteix el webinar ‘Com puc incorporar l’evidència en el disseny de programes?’.

Quin és l’objectiu del webinar? 

L'objectiu del webinar és donar eines a les entitats del tercer sector perquè puguin incorporar evidència en el disseny dels seus programes. Per il·lustrar la formació teòrica amb un cas pràctic, presentem la nostra experiència amb els programes d'inserció laboral en el mercat ordinari de persones amb problemes de salut mental.

A qui va dirigit?

A les professionals d'entitats del tercer sector, com ara directives, tècniques, voluntàries, membres etc. que estiguin implicades en el disseny de projectes i programes.

A què ens referim quan parlem d’evidència?

Les evidències són proves trobades a la recerca, a coneixement contrastat ja existent en relació a com han funcionat altres programes amb plantejaments i objectius semblants.

Perquè és important incorporar l’evidència al disseny de programes d’una entitat? Quins beneficis té?

En termes generals, és important incorporar l’evidència perquè dona més fiabilitat a les intervencions i programes, atès que es basen en un coneixement contrastat i no només en impressions o intuïcions.

Els beneficis s'han d'analitzar en cada cas concret. En el nostre cas, ens va portar a incorporar modificacions rellevants en el disseny, el que va comportar la millora continua i ens va permetre afinar les estratègies. A conseqüència de tot això, els resultats van millorar.

D’altra banda, ens va permetre augmentar el compromís i la confiança de tots els implicats en els programes (persones usuàries, empresàries i professionals) en els objectius d'inserció laboral en el mercat ordinari de les persones amb problemes de salut mental.

Un dels problemes que heu detectat és que habitualment el disseny de programes es basa més en tradicions i intuïcions que en una anàlisi acurada?

En l'àmbit social generar evidències i accedir a les mateixes ha estat més difícil que en altres sectors. Per diversos motius, són relativament recents les recerques i estudis sobre les intervencions en l'àmbit social, i això influeix, lògicament.

Això no passa en l’àmbit sanitari, per exemple, en el qual és molt més freqüent que la intervenció assoleixi un grau d’evidència contrastada, es publiqui i s’estengui. A l’àmbit social és menys freqüent.

Potser hi ha altres factors que hi incideixen, com per exemple l'orientació del tercer sector a l'acció i moltes vegades a una acció ràpida, el que no afavoreix la recerca d'evidències, atès que necessita el seu temps i els seus recursos.

També crec que moltes vegades es pensa que les intervencions de l'àmbit social d'altres territoris o països estan totalment determinats pel context social, econòmic i cultural d'aquests, i que l'evidència que aconsegueixen no es pot traslladar al nostre. Calen adaptacions de les evidències d'altres contextos, però tenen valor.

 

Què necessita una entitat per sumar l’evidència al disseny de programes?

 

Sobretot que l'entitat li trobi el sentit a incorporar l'evidència per a la seva missió i la seva activitat. Això és imprescindible. Que l'entitat tingui clar el "per què" i el "per a què".
Això és imprescindible però no és suficient. Cal també formació per identificar les evidències rellevants sobre el tema que ens ocupi, també per accedir als estudis i investigacions, a les revisions, als experts i revisar la qualitat de les evidències.

Manca formació específica sobre aquest tema?

Sembla evident que en termes generals manca formació específica. Per això, la Taula del Tercer Sector està implementant propostes de formació que van en aquest sentit. 

A grans trets, quins passos s’han de seguir per dissenyar programes basats en l’evidència?

De manera molt sintètica podríem dir que el primer pas és plantejar una pregunta concreta que ens orienti en la cerca d'evidències. Fer-ho bé és un primer pas molt important perquè ajuda molt a centrar la recerca.

El segon és la recerca de les millors evidències de la pregunta que hem formulat, d'aquí la importància d'una bona pregunta, perquè si no la recerca pot ser molt amplia.

Després, cal valorar la qualitat de les evidències recollides, per decidir si les incloem o les excloem. Finalment, fer una síntesi de les evidències trobades per fer recomanacions i conclusions en el disseny del programa.

D’on ha de provenir aquesta evidència?

També de manera molt esquemàtica podem dir que l’evidència la podem trobar a estudis i investigacions directes, en les revisions sistemàtiques de literatura científica i en les conclusions i aportacions d'experts.

Cada font té les seves oportunitats i els seus riscos, i cal una avaluació acurada de la seva qualitat i pertinença.

Sovint, l’evidència empírica prové d’avaluacions de programes implementats en altres contextos, és un problema? Com cal actuar?

No ha de ser un problema, el que cal és definir si cal adaptar-lo en l'aplicació a un programa en el nostre context i quines són aquestes adaptacions.

Pensar que les evidències d'altres contextos no es poden aplicar, en cap cas, al nostre context ens porta a un terreny molt difícil i diria que molt estèril per aconseguir una solidesa i qualitat més gran de l'àmbit social i les seves intervencions. 

Incorporar l’evidència també serveix per millorar l’avaluació dels programes?

La incorporació de l'evidència millora l'avaluació perquè permet fixar amb més precisió i claredat els objectius de la intervenció i l'assoliment esperat de cadascun d'ells.

L'avaluació es pot millorar amb altres intervencions, però la incorporació de l'evidència li dóna solidesa a la formulació d'objectius i fites concretes a aconseguir.

És una eina que pot ajudar a millorar la transparència i rendició de comptes? en quin sentit?

Pot ajudar a la transparència perquè la definició dels programes es fan a partir d'evidències que són contrastades, publicades i consultables.
Per exemple, que la duració d'un programa es fixi a partir de les evidències contrastades ajuda a fer que tothom entengui que no és una decisió intuïtiva, poc sòlida o, fins i tot, arbitrària.

També pot ajudar a la rendició de comptes perquè ajuda, com dèiem abans, a objectius més clarament definits i amb més precisió en el seu assoliment. Aquesta definició més precisa és una referència molt clara a l'hora de rendir comptes sobre si els objectius i les fites esperades del programa o la intervenció s'han assolit i en quin grau, i conseqüentment, quines modificacions o millores cal aplicar en el futur.