4 casos sonats d'algoritmes discriminatoris i com evitar-los

Colectic
Dues persones ensenyant-se fotografies amb el mòbil Font: Cottonbro (Pexels)
Dues persones ensenyant-se fotografies amb el mòbil Font: Cottonbro (Pexels)

4 casos sonats d'algoritmes discriminatoris i com evitar-los

Colectic

Resum: 

Parlem amb DataForGoodBCN sobre els riscos que els algoritmes decideixin per nosaltres.

Els algoritmes reflecteixen i amplifiquen les discriminacions existents en la nostra societat. Així, són racistes, masclistes, capacitistes, aporofòbics i repeteixen els patrons estètics.

"Un dels principals problemes és que els algoritmes utilitzen dades històriques de comportaments passats per detectar patrons i, d’aquesta manera, fer prediccions. Malauradament, la societat presenta desigualtats estructurals que impliquen biaixos respecte col·lectius vulnerables, i aquests biaixos es troben presents en les dades que s’utilitzen per crear els algoritmes", expliquen des de l'entitat DataforgoodBCN.

Un altre dels motius és que, generalment, "es dissenyen per actuar sobre un col·lectiu en concret però després s’usen sobre altres sectors de la població diferents del primer" quan "la realitat dels diferents col·lectius no té perquè ser la mateixa".

Com pot una màquina decidir per nosaltres? Fem un recull dels quatre casos més sonats d'algoritmes discriminatoris que han transcendit:

Amazon descarta les dones

Fa uns anys, el gegant de la paqueteria va dissenyar un sistema algorítmic per facilitar la selecció de personal que afavoria els homes davant de les dones ja que la seva plantilla, en aquell moment, estava bàsicament formada per homes, i l'algoritme s'havia creat amb les dades del personal dels últims deu anys. La multinacional va prescindir, finalment, d'aquest sistema.

TikTok censura la dissidència

La publicació alemanya Netzpolitik va tenir accés a documents interns de Tiktok que apuntaven que les persones que es dedicaven a moderar els continguts de l'aplicació estaven formades per eliminar les publicacions susceptibles al ciberassetjament, que incloïen persones amb diversitat funcional, amb cossos no normatius o LGTBIQ+. Quan aquest informació es va fer pública, la xarxa social va modificar aquesta política.

Un algoritme per a una justícia racista

Compas és un sistema de predicció que s'utilitza en alguns jutjats dels Estats Units des del 1998 per determinar les penes que s'imposen a les persones acusades segons el seu risc de reincidència, que el 'software' dictamina segon l'avaluació de 137 aspectes de la persona. ProPublica va demostrar mitjançant un escrutini de dades que l'algoritme presentava un biaix racista i determinava que les persones negres eren més propenses a reincidir.

Hem escollit les nostres parelles?

La periodista Judith Duportail va confirmar que l'atzar no existeix en la seva investigació sobre Tinder en el llibre 'El algoritmo del amor'. I és que aquesta aplicació de cites, i segurament d'altres, té un rànquing de persones usuàries secret ordenat segons paràmetres com la bellesa i el coeficient intel·lectual per emparellar-nos segons el nostre nivell de desitjabilitat.

D'aquesta manera, només podem veure aquelles persones que estan al nostre nivell ja que, tal com admet el sistema d'intel·ligència artificial dissenyat per Amazon que utilitza, "les persones amb el mateix nivell d'atractiu són més susceptibles d'entendre's".

Segons explica Duportail, la posició puja quan reps 'match' i baixa si et rebutgen. A més, segueix una lògica patriarcal ja que premia els homes amb estudis i penalitza les dones amb estudis, de la mateixa manera que afavoreix les relacions entre homes grans i dones joves.

Algoritmes justos?

Des de DataForGoodBCN aposten per bones praxis com assegurar que les dades que s’usaran representen adequadament al col·lectiu d’estudi o que les dades amb les quals es treballarà són les mínimes necessàries per aconseguir l’objectiu marcat.

També per l'avaluació d'impacte dels algoritmes, un mecanisme de governança que és obligatori des que va entrar en vigor el Reglament General de Protecció de Dades (RGPD) l’any 2016, tot i que són poques les entitats que l'han integrat.

A nivell individual, aconsellen que ens informem sobre els riscos que en deriven i recomanen un curs gratuït en línia anomenat Elements of AI.

Cal formació i informació per passar "d'estar dirigits pels algoritmes a dirigir els algoritmes".

Afegeix un comentari nou