Desmitificar la intel·ligència artificial: l'informe d'AlgoRace sobre la discriminació algorítmica

La intel·ligència artificial (IA) és ideològica perquè està dissenyada per una elit blanca i comporta el risc de reproduir les opressions històriques com el racisme.

A més, s'ha de desmitificar i deixar d'informar-ne com si es tractés d'un poder extraordinari de pel·lícula de ciència-ficció. És un sistema automatitzat de presa de decisions a través de l'anàlisi de dades, i com a tal, no és aquesta tecnologia la que discrimina sinó els equips de persones que la dissenyen, i en conseqüència, la societat. Per tant, els biaixos racials són reflexes d'un racisme estructural existent.

És per això que cal tenir en compte que aquesta discriminació va més enllà del codi i és política i mediambiental perquè sovint es personalitza aquesta tecnologia despolititzant-la i reduint-la a dades que tenen un impacte en les persones. I és per això que cal que la discriminació algorítmica estigui a l'agenda dels moviments socials.

Aquestes són les conclusions de l'informe 'Una introducció a la IA i la discriminació algorítmica per a moviments socials' d'AlgoRace, que vol posar sobre la taula el racisme en aquest camp. L'informe té l'objectiu de promoure una anàlisi crítica de les tecnologies que tingui en compte el context polític i social i les relacions de poder.

A més, vol ser una eina per a col·lectius i moviments socials per explicar en què consisteix l'AI, quines discriminacions comporta, quines vulneracions s'han produït i quines resistències han sorgit.

Casos a casa nostra

L'informe explica com funcionen aquests sistemes automatitzats i quins biaixos tenen, a més dels procediments legals i les mobilitzacions que hi han plantat cara. Inclou una desena de casos investigats, alguns dels quals es fan servir a casa nostra com el simulador de l'Ingrés Mínim Vital, que desincentiva persones migrades a presentar-se amb dues preguntes a l'inici sobre l'estatus migratori.

També el VeriPol, el sistema que s'utilitza per predir denúncies falses dissenyat pel ministeri de l'Interior en el qual un sol policia va entrenar el sistema d'automatització etiquetant denúncies com a vertaderes o falses.

L'informe posa sobre la taula la falta d'auditories públiques d'aquests sistemes. L'única coneguda és el que va fer Fundación Éticas de l'algoritme VioGen que s'utilitza a l'Estat per predir el risc de violència de gènere, però el ministeri de l'Interior no va col·laborar i, per tant, mai es va tenir accés al codi real i a les dades.