Carmen Castrejón: "Per avaluar ens hem de posar les ulleres d'investigadores i tenir una actitud d'obertura"

"L'avaluació és un moment vital a qualsevol projecte". Amb aquestes paraules inicia la conversa la Carmen Castrejón, directora d'innovació, coneixement i avaluació d'impacte de la Fundació Acció Social Infància (FASI), sobre l'avaluació a les entitats, subratllant així, des d'un principi, la importància de dur a terme aquesta acció en el disseny, realització o valoració d'un projecte.

FASI és una organització del sector dels serveis a les persones amb vocació d'impulsar, per mitjà de la intervenció familiar, projectes innovadors en l'atenció a la infància en risc de Catalunya. La fundació forma part de la Plataforma Educativa, un projecte de diferents entitats del Tercer Sector que optimitza els avantatges d’innovar i de treballar de manera conjunta.

Des de la seva expriència, Castrejón ens explica la importància de dur a terme una avaluació en les entitats, com dur-la a terme, en quin moment i quins aspectes cal tenir en compte.

Per què és important dur a terme l'avaluació a les entitats? Què és el que aporta?

L'avaluació és un moment vital a qualsevol projecte perquè implica coses que habitualment no fem, que tenen a veure amb aturar-se, tornar la vista enrere per saber què ha passat, com ha passat i que ens ha passat a nosaltres mentre passava allò que ha passat. Quan avaluem podem valorar què d'allò bo que hem fet hem de continuar fent, i què d'allò que hem fet hem de deixar de fer perquè no aporta cap valor.

Crec que també ens ajuda a aprendre a comunicar millor el valor de la nostra entitat social. L'avaluació no és per a mi tant explicar que hem fet, sinó com allò que hem fet està contribuint al fet que alguna cosa millori, transformi i contribueixi al benestar de les persones o el planeta.

A primera vista sembla complicat fer aquesta valoració.

Canviaria la paraula complicat per complex. Sí que és veritat que ens hem de posar les ulleres curioses d'investigadores, en el sentit que necessitem aquesta actitud d'obertura per no estar tan condicionats o preocupats pel que hem fet i com allò està contribuint al propòsit que tenim com a entitat social.

És una cosa que es pot aprendre. Crec que hi ha un canvi de mentalitat, o almenys així ha estat en la meva experiència personal, i en l'experiència de les organitzacions en les que hem col·laborat en els darrers vint-i-cinc anys. El que no sabem, ho hem d'aprendre; i algunes coses que sabem, les hem de desaprendre perquè no ens ajuden a avaluar.

 "El que no sabem, ho hem d'aprendre; i algunes coses que sabem, les hem de desaprendre perquè no ens ajuden a avaluar".

Segons la vostra experiència, quines serien les passes o mètode a seguir en una avaluació?

Si anem a l'etimologia de la paraula, l'avaluació està vinculada a poder emetre un judici, un judici raonable o racional, en el qual podem fer una anàlisi de diferents elements. En aquest sentit, per a mi hi ha una primera passa que travessa, d'alguna manera, tot el mètode: poder formular bones preguntes. Moltes vegades, en la meva vessant de consultoria o facilitadora en altres organitzacions, em trobo que estem molt preocupades de les dades quantitatives, però crec que, en realitat, l'elaboració de les bones preguntes és fonamental.

La formulació de bones preguntes ens anirà adreçant a llocs interessants per poder investigar. Per a mi hi ha un seguit de bones preguntes, que no són meves, que m'apropio d'elles, però que he après amb molts equips i diferents persones al llarg dels anys.

Quines són aquestes preguntes?

La primera és 'perquè faig allò que estic fent', 'perquè poso en marxa el projecte', 'perquè fundo aquesta nova organització social'. D'aquesta manera podrem identificar i explicar els propòsits. Seria com l'horitzó més llunyà, com aquesta utopia de la qual parla Galeano, que és la que ens mou en realitat, la que ens manté en el camí. La segona pregunta és 'que vull aconseguir amb allò que estic fent o estic posant en marxa'. Així podrem definir bons objectius. Moltes vegades hi ha dificultat entre distingir els propòsits i els objectius.

La tercera pregunta és 'a qui he d'involucrar'. És important per a les entitats socials poder obrir la ment: les grans causes en les que treballem, la majoria de nosaltres, no les podrem resoldre soles, necessàriament haurem de comptar amb altres. I no només per una reivindicació social, política o de drets humans, sinó perquè ens afecta a totes i ens necessitem mútuament. Això inclou a persones que estan afectades per la situació, les que ens poden ajudar o les que poden donar-nos un punt de vista diferent.

Que no falti ningú.

Exactament. Això ens ajudarà a dissenyar un mapa d''stakeholders' interessant i inclusiu. La quarta pregunta és, 'davant de tot això, què puc fer'. Aquesta pregunta ens pot ajudar a identificar les millors accions que podem dur a terme per arribar a aquest horitzó desitjat.

La cinquena bona pregunta és, 'amb què he de comptar'. Entrem en la part dels recursos que necessitarem i els que ens faran falta per tenir marge de reacció en el cas que algú falti. Moltes vegades aquí incloc l'auditoria 'Post mortem'. Això vol dir, fins i tot en els moments de disseny de projecte, posar-nos en l'imaginari que la cosa surt fatal. Així podem identificar elements que, potser, en la il·lusió de crear o dissenyar no estem tenint presents. I després desenvolupar el projecte hi ha una pregunta molt rellevant que és 'i ara què'.

Com continuar, quina és la següent passa.

Què donarà major valor, sentit, o millor resposta a allò que estem fent. I així podrem també projectar-nos cap al futur, en el que sigui que s'hagi de fer. Això seria tot una primera fase molt important. Després és important identificar o definir els identificadors. Moltes vegades les entitats ens tornem boges definint moltíssims indicadors que després són complicats de mesurar o no generen cap reflexió, cap anàlisi. Per a mi és important el 'menys és més', simplificar i poder-nos centrar en els quatre o cinc indicadors clau que donaran informació sobre el projecte.

Un altre tret important és portar una anàlisi real de les dades. Recollir dades per si mateix no significa res i no ens porta enlloc, ens omple d'informació i ens intoxica. Si no hi ha una reflexió per prendre decisions i per millorar o canviar l'estratègia, doncs no té massa sentit per a mi.

Què necessitem per fer l'avaluació?

Per fer una avaluació necessitem tres coses senzilles. Per una banda la vocació de servei. Per a mi l'avaluació ha d'estar pensada i realitzada des de l'honestedat en si allò que estic duent a terme des de l'entitat està resolent el problema per al qual estic treballant. L'avaluació per a mi no està ni en engrossir l'ego ni en fer-nos l'harakiri. Va de preguntar-nos, obertament i honestament, si la meva entitat o projecte deixés d'existir estaríem perdent alguna cosa valuosa per a algú o no passaria res significatiu.

És clau mantenir-nos en aquesta essència de vocació de servei per entendre que l'avaluació és una eina que ajuda a poder valorar si allò que estem fent és tan important o no. Quan les coses deixen de tenir sentit moren i no passa res, perquè la vida continua i continua donant-se en noves formes. I això, en altres tipus d'organitzacions passa i, des del meu parer, penso que està bé. És important poder evolucionar i aprendre.

 "L'avaluació ha d'estar pensada i realitzada des de l'honestedat en si allò que estic duent a terme des de l'entitat està resolent el problema per al qual estic treballant".

Quins altres dos trets consideres importants per fer una avaluació?

Una altra cosa important per a mi és el sentit comú. Per a mi val més dos indicadors i dues preguntes d'avaluació, que moltes preguntes o molts indicadors, molt orientades o impossibles de mesurar. Moltes vegades, mogut pel sentit de responsabilitat i per les exigències d'algun finançador, ens demanen coses que ens fan que ens perdem en el procés de recollida d'informació i burocratitzen la gestió.

La tercera cosa que crec que és important a l'hora d'avaluar, té a veure amb el coneixement i amb l'actitud d'aprenentatge. Calen competències per avaluar, recursos i considero vital l'ajuda de la tecnologia. Crec que l'avaluació ha de poder servir per innovar, per canviar i això necessita persones capaces d'aprendre i preparades per formar-se. I hem de poder fer avaluacions transparents, lliures, sense que les entitats estem massa condicionades per l'aferrament als projectes.

Quan sentim avaluació ens ve al cap que s'ha de fer al final d'un programa. Però es pot fer abans o durant el projecte?

No només es pot fer, sinó que és molt recomanable que es faci durant, abans i després. Primer cal investigar què està passant, normalment les entitats socials sentim dolor per alguna cosa que està passant al món, per algun problema, alguna exclusió, per algú que està en una situació de vulnerabilitat. Llavors, de seguida, comencem a fer hipòtesis de per què passa això que està passant. I des d'aquí comencen els projectes a funcionar.

Cal investigar que està passant i cal verificar que això que estic creient és així. Llavors cal implicar les persones que estan afectades per aquella realitat que estem observant i que les avaluacions no estiguin fetes des dels nostres caps acadèmics. També cal comptar amb l'opinió de les persones que potser estan a l'altre extrem del posicionament, aportaran punts de vista interessants, ni que sigui per reafirmar la nostra visió.

I durant el projecte?

És important fer l'avaluació durant el projecte per anar ajustant coses, recalcular i avançar d'una manera més adient al lloc al qual volem anar. I per tant tenir uns moments de control per veure si estem anant bé, si està anat tot com esperàvem, si ha passat alguna cosa que necessitem introduir, si hi ha alguna cosa que no està funcionant i per tant cal deixar de fer. Això ens manté connectats amb l'objectiu.

I per últim, lògicament, en acabar, per poder donar raó del que hem fet, què hem aconseguit, el valor que estem aportant tant a les persones que ens han ajudat a aconseguir-ho, però també perquè les persones que han aconseguit les seves fites ho puguin celebrar. Moltes vegades ens oblidem que l'avaluació té un punt de celebració perquè sempre hi ha aprenentatge. Al final és moment de tornar-nos a prendre el pols, tornar a prendre-li el pols al projecte, i decidir quin és el següent pas i de quina manera.

És millor dur a terme una avaluació des de la mateixa entitat o que ho faci un agent extern?

L'important és que la faci qui la sap fer. Si aquest talent el tens a dins, meravellós. I si està a fora, l'has d'anar a buscar. És veritat que comptar amb ulls externs sempre ajuda, s'enriqueixen molt els processos de reflexió. Poder parlar amb persones que miren el projecte des d'un altre lloc també ajuda molt a fer-te preguntes diferents, a donar-li la volta a situacions. De vegades, com hem dit abans, per poder afirmar en el que vols aportar.

Això ens fa ser millors. T'esforces també en buscar els motius d'allò que estàs defensant, en fer-te les preguntes que necessites per poder mostrar l'evidència. Crec que aquesta mirada externa en algun punt sempre està bé, ni que sigui com a entrevistes de contrast. T'obre noves perspectives.

Hi ha cultura d'avaluació entre les entitats?

Totes les entitats tenen cultura d'avaluació, és intrínseca a l'ésser humà. Permanentment ens estem fent preguntes per emetre judici i prendre decisions. Això està present i no sé si la podem no tenir-la present. Ara bé, hi ha diferents nivells d'estructura respecte a l'avaluació, diferents nivells de sistematització respecte dels processos, diferents nivells de coneixement respecte a com dur a terme aquesta avaluació. HI ha gradients.

"La cultura d'avaluació és intrínseca a l'ésser humà. Permanentment ens estem fent preguntes per emetre judici i prendre decisions".

L'avaluació, sigui com sigui, sempre hi és present.

Des del meu coneixement del tercer sector a Catalunya et diria que la professionalització que ha viscut el sector l'ha anat conduint cap a aquesta cultura de l'avaluació. I amb les diferents entitats amb les quals he col·laborat a Catalunya, en els deu anys que porto aquí, això sempre ha estat present en diferents gradients. La gent sempre es fa preguntes, cada vegada que neix una nova acció és fruit d'una avaluació, pot ser no conscient i no sistemàtica, però hi és allà. Veig alguna cosa, faig una sèrie de pensaments i elaboracions i creo alguna cosa.

Diria que sí, que hi ha una cultura d'avaluació, que va evolucionant com cada nou corrent de pensament al voltant de l'avaluació. S'està movent tot el tema de la teoria del canvi i l'avaluació d'impacte I veurem que d'aquí a uns anys estarà integrat i es treballarà més en aquesta clau. Són aspectes que van evolucionant a mesura que va evolucionant el món i podem atresorar nous camps de coneixement.

Falta formació específica sobre aquest tema?

Crec que sí falta formació específica. En la teoria del canvi i l'avaluació d'impacte, per exemple, falta formació específica en aquest sentit, sens dubte. I fins i tot falten opcions de formació. Ja et dic que és un camp de coneixement en construcció. Falta formació específica per poder definir bé els objectius, un element clau de l'avaluació, o falta formació específica per poder formular aquestes preguntes, que són fruit d'una anàlisi, d'una reflexió compartida, de processos divergents que després convergeixen en preguntes.

Necessitem continuar treballant-hi i potser també imaginar-nos nous escenaris d'aprenentatge que no sempre han de passar per la formalitat d'un curs on has de fer una inversió. Jo somio amb espais de col·laboració entre professionals més enllà de l'organització on poder compartir col·laborativament aquests coneixements. El que les universitats ens ofereixen no és suficient. A més, pots anar a cursos i això t'ajuda a endreçar-te al cap, però després necessites posar-ho en pràctica i aquí l'aprenentatge entre iguals ens ajudaria molt.