Una intel·ligència artificial racista al servei de la vigilància massiva

La intel·ligència artificial està vulnerant els drets humans? És el debat que ha centrat la taula rodona sobre securització de fronteres i ciutats durant la jornada sobre intel·ligència artificial organitzada per Espai Societat Oberta amb la participació de Lafede.cat i m4Social.

Alerta racisme

Les dades biomètriques que es recullen amb aquesta tecnologia no ens permeten decidir si hi volem participar o no, i s'usen en controls fronteres per discriminar persones migrants, ha denunciat Ana Valdivia, investigadora en intel·ligència artificial i ciència de dades al King’s College London. De fet, hi ha hagut casos de sol·licituds de persones demandants d'asil denegades perquè els seus testimonis es contradeien amb les dades recollides. "Se li dona més importància al resultat de l’algoritme que al testimoni de la persona migrant", ha explicat.

Per la seva banda, Youssef M.Ouled, periodista i investigador, ha parlat del racisme estructural evidenciat amb la pandèmia per abordar l'enfocament antirracista que ha de tenir la intel·ligència artificial. La recollida de dades pot ser útil per denunciar les discriminacions que pateixen les persones migrants, una acció denegada per les mateixes institucions, que en canvi permeten que es recullin per a altres fins, com per exemple informar la policia de la seva situació irregular o envair les seves comunicacions a través de les xarxes socials.

Un negoci amb molts beneficis

Però quines empreses desenvolupen aquests algoritmes? Quines dades utilitzen? Quines mètriques s'extreuen i quins marges d’error hi ha? Des de Security Flows han estudiat els contractes de les principals empreses de seguretat fronterera, que són Frontex i Eu-lisa. Tot i que són públics, no hi ha transparència en les empreses subcontractades i en les descripcions. Valdivia afirma que les inversions multimilionàries d'aquestes multinacionals indiquen que hi ha un oligopoli dins d'aquest ecosistema.

De fet, Abolish Frontex ha demanat l'abolició d'aquesta agència europea per opacitat i vulneració de drets: "Utilitzen diners públics per deportar persones migrants i no se’ns ha preguntat".

Des de Security Flows també han analitzat la taxa d'error de l'algoritme IDEMIA, que és superior en dones racialitzades.

Ouled ha denunciat el lucre de la indústria de la securitzación, amb uns beneficis que augmenten cada any, i on hi ha empreses com Eulen, El Corte Inglés o Indra, que són portes giratòries per a la classe política. "Són les mateixes empreses que s'encarreguen de programes d'acollida i d'integració, de la neteja dels CIEs, dels sensors de les tanques, dels equips patrullers de la guàrdia civil i l'armada i de la detenció i expulsió de persones migrants, que dona beneficis a aerolínies com AirEuropa". A més, moltes inverteixen en armes.

El periodista ha mencionat també la indústria dels drons que s'està implantant als controls migratoris. "El que es vulnera és el dret a la vida, el dret a migrar, a la lliure circulació", denuncia.

Vigilància massiva

Amnistia Internacional ja ha denunciat que s'està amenaçant la privacitat a països com els Estats Units, però no estem tan lluny, afirma el periodista: a Madrid, a Lavapies, on hi ha presència de persones racialitzades, hi ha una forta presència de càmeres i una retòrica mediàtica que contribueix a legitimar i expulsar aquesta població encara que els índex de delinqüència no siguin més alts que a d'altres barris. A Barcelona també s'han comprat càmeres amb potencial d'incorporar aquests 'softwares' per posar en determinats barris.

I és que, com ha apuntat Nora Miralles, investigadora Observatori Drets Humans i Empreses a la Mediterrània (ODHE), "la tecnologia pot ser neutra, però el context i el seu ús no ho sóns" i s'ha posat "al servei de la vigilància massiva i del control" de les persones migrades i racialitzades sota l’excusa del terrorisme, però també de tota la població amb l’excusa de la seguretat.

"Veiem una tendència a augmentar les tècniques de control, que suposen cada vega més dades privades de la ciutadania emmagatzemades sense que estigui degudament regulat o protegit", ha afegit. A més, ha denunciat que no se sap com s'emmagatzemen aquestes dades ni on són ni quan i com es destrueixen. 

La pandèmia, escenari de proves

La pandèmia ha sigut un escenari propici per provar nous sistemes de control per garantir el compliment de les mesures o mesurar la temperatura de les persones amb drons. Uns sistemes que vulneren els drets civils, que ja s'han utilitzat en manifestacions, i que sembla que han vingut per quedar-se. "Anem cap al càstig de comportaments individuals de forma descontextualitzada, cap a una cultura més punitiva", critica Miralles, que explica que els models de detecció de comportaments sospitosos s'activen quan les persones corren o ballen.

La crisi ha contribuït a legitimar aquests mecanismes, però abans ja s'estaven implementant, per exemple, per detectar 'fake news'. El concepte 'ciutats intel·ligents' també és un marc propici per implementar-les amb l'excusa del turisme i el progrés, considera Miralles, que alerta de la possibilitat de connectar aquestes tecnologies amb el comandament de la policia per donar més poder a l’Estat per controlar la ciutadania i per criminalitzar les persones migrants i la dissidència política.

Durant el confinament, "les persones migrants no sortien al carrer ni per comprar medicines perquè era la garantia de ser controlat per forces i cossos de seguretat", afegeix Ouled, que assenyala que s'ha de tenir en compte la participació de persones racialitzades en aquest debat i reflexionar sobre qui té la capacitat de ser-hi.

Reptes de futur

No totes les experiències són negatives. A França la intel·ligència artificial s'ha utilitzat amb la policia per comprovar que no hi havia vulneracions de drets durant les manifestacions. Al Regne Unit els cossos de seguretat han de publicar les dades sobre les persones detingudes: els resultats són que es realitzen més controls a persones racialitzades que blanques, però que aquestes cometen menys delictes.

Per fer front als grans reptes que planteja aquesta tecnologia, cal exigir transparència a les empreses més i formar grups interdisciplinars per entendre com afecta els drets humans, reivindica Valdivia. Mentrestant, Ouled aposta per "desnormalitzar la hipervigilància i desecuritzar la política".

Miralles proposa combatre aquesta cultura punitiva i les seves institucions repensant les fronteres, els càstigs, els CIEs, perquè "els delictes tenen contextos i causes que aquestes tecnologies no solucionen". També aposta per la prohibició del reconeixement facial, prohibit ja a Sant Francisco. A més, considera que s'haurien de promoure les empreses ètiques i castigar les que vulneren drets.

En definitiva, la intel·ligència artificial és només una eina. La lluita perquè sigui justa és l'antirracisme i l'antifeixisme. Per això, "cal fer pedagogia, alarmar sobre l'extrema dreta i construir societats diverses i tolerants".