Rosie McLeod: "Quan en un sector només es donen a conèixer èxits, és difícil ser-ne l’excepció"

Per què hauria de voler una entitat fer públics els resultats de l’avaluació d’impacte d’un programa que no ha estat un èxit?

Perquè per altres organitzacions és important saber què és el que no ha funcionat. Si no, és probable que es repeteixi a un altre lloc, i això representa malgastar esforços, a banda de ser injust per a les persones beneficiàries. A més, si l’entitat tenia una bona raó per creure que el programa havia de funcionar, no passa res per descobrir que no ho ha fet; com ho havien de saber? Això demostra que són pioners i que estan fent avançar el sector per mitjà d’anar provant noves idees.  


Per què les entitats no fan públics més sovint els resultats inesperats dels seus programes?

Generalment, perquè ningú més ho fa. Quan en un sector només es donen a conèixer èxits, és difícil ser l’excepció i sincerar-se sobre la realitat confusa d’uns resultats limitats. A més, hi ha la por que això pugui desmotivar algú; no és una cosa fàcil de fer. Molts senten que per a mantenir la confiança dels finançadors, de l’equip i de les persones beneficiàries, cal demostrar els èxits i fer difusió únicament de les bones notícies, no dels aprenentatges.


Com pot aprendre una entitat d’uns mals resultats?

Analitzant adequadament què ha passat i per què. Cal estar preparat per diagnosticar-ne les causes. Va ser una qüestió vinculada al disseny del programa, o amb la forma en com s’ha implementat? Els factors desconeguts eren evidents des d’un bon començament? És molt important que l’equip estigui implicat en aquesta revisió, de manera que l’entitat tingui la millor informació sobre per què les coses no van anar tal i com s’havia planejat, i evitar al màxim la culpabilització. No ha de ser necessàriament culpa de ningú, i si l’equip està a la defensiva, no es podrà arribar enlloc.  


Com ha de ser una avaluació d’impacte per tal de permetre a una entitat d’aprendre d’uns resultats inesperats?

Cal planificar una avaluació d’impacte que tingui per objectiu entendre què funciona i què no, i que permeti millorar i fer canvis a mesura que s’avanci. Si s’anticipen les àrees en què hi ha més risc, s’està més preparat per les sorpreses que puguin arribar. L’equip ha d’estar motivat per demostrar la millora, no només l’èxit, i s’ha de marcar objectius d’aprenentatge, no només objectius de resultats. Cal fer servir indicadors definits de manera que els punts de referència i els progressos estiguin clars.


Tots els mètodes d’avaluació d’impacte poden portar a obtenir resultats negatius?

Si et fas les preguntes adequades, els resultats et diran alguna cosa nova i útil, independentment de si aquesta és “positiva” o “negativa” en relació amb l’assoliment de resultats. “El programa permet aconseguir un resultat X?” sempre pot donar lloc a un resultat negatiu, i s’ha de buscar sempre aquesta resposta directa. Però al mateix temps es necessiten mètodes que capturin els mecanismes del programa, la variació entre usuaris i els altres factors que han influït en el funcionament del programa. Aquesta informació pot ajudar-te a adaptar el programa o a suggerir alguns aspectes que un nou programa hauria de tenir en compte.


Per alguns líders del tercer sector, l’avaluació d’impacte és vista com una eina per donar a conèixer els èxits. Què en penses?

Doncs bé, a tothom li agrada fer molta patxoca, però no és millor concentrar-se en fer les coses bé? Les millors organitzacions que es preocupen per l’impacte que generen fan servir les avaluacions d’impacte per guiar les seves decisions; això vol dir que necessiten informació equilibrada que els digui coses que encara no saben. Els finançadors tenen aquí un rol molt important a l’hora de fer sentir a les organitzacions que l’objectiu és millorar, no només demostrar. Són els finançadors els qui sovint estableixen els requisits que han de tenir les memòries de justificació i que creen els incentius o les barreres per donar a conèixer uns resultats negatius


Com pot una entitat donar a conèixer uns resultats inesperats sense comprometre la seva reputació o el seu finançament?

Si des d’un bon començament has intentat ser honest sobre els riscos i els factors desconeguts, uns resultats inesperats són menys sorprenents i no han de tenir una repercussió negativa sobre l’organització. Els resultats obtinguts en l’avaluació es poden contextualitzar amb elements positius: pots demostrar la teva capacitat d’aprendre, analitzant els resultats i suggerint noves estratègies i pots donar a conèixer quins canvis fas arran d’això per tal d’abordar la qüestió i continuar millorant.

Tingues una bona comunicació amb els teus finançadors; això és el que fa mantenir la confiança. No amaguis els resultats, discuteix-los tan bon punt sigui possible i explica què està passant. Ja més en general, busca finançadors amb qui comparteixis un mateix nivell de risc acceptat. Alguns finançadors potser no estan interessats en donar suport a projectes arriscats que poden no funcionar, i algunes entitats són menys propenses a prendre riscos amb programes amb molts factors desconeguts. Les entitats i els finançadors han de reconèixer quins riscos estan disposats a córrer, per tal de poder trobar col·laboradors amb un enfocament similar i gestionar el risc.


Podries esmentar algunes bones pràctiques d’organitzacions que han fet difusió de resultats inesperats i que n’han extret aprenentatges?

El programa Fifteen de la Jamie Oliver Foundation, quan va començar. En el seu primer informe social, van admetre que el suport que oferien als joves que entraven en el seu programa de formació de xefs no era prou sistemàtic ni integral. L’equip va decidir fer-hi diversos canvis. El resultat va ser que la taxa de retenció dels joves al programa va augmentar fins a un 79% i des de l’organització s’afirmava que s’estava en un procés de millora continuada.

La Hewlett Foundation és tan conscient de la tendència a ocultar els fracassos que té un premi anual per al membre de l’equip que va gestionar el pitjor ajut econòmic.

Admitting Failure, amb un nom molt encertat, és un espai obert per als professionals de l’àmbit del desenvolupament que reconeixen que l’únic fracàs “dolent” és el que es repeteix.

Entrevista original publicada a nonprofit.xarxanet.org

Les negretes han estat afegides pels redactors de Xarxanet.org.