L'Observatory of Algorithms with Social Impact (OASI) és un cercador dels algoritmes que grans empreses i governs utilitzen amb nosaltres organitzat per nom, àmbit i país on es desenvolupen, entre d'altres informacions com ara si tenen un biaix discriminatori.

Es tracta d'una eina sense precedents creada per Eticas Foundation, que treballa per una tecnologia participativa, i que ens mostra com aquests sistemes d'aprenentatge automatitzats estan més presents en les nostres vides del que creiem i com les seves funcionalitats prenen decisions i tenen unes conseqüències en la nostra societat.

Com els avenços tecnològics, l'entitat avisa que l'eina es mantindrà en continua actualització, i que ho farà de forma col·laborativa. És per això que obre un canal per afegir algoritmes o per modificar-ne els existents.

La transparència dels algoritmes és una demanda del sector de la tecnologia social que fa una petita passa endavant amb aquest cercador, que es complementa amb informació sobre què són els algoritmes de 'machine learning' i quin és el seu impacte. Malgrat això, continuem sense saber com funcionen la majoria d'aquests algoritmes que tenen un funcionament intern conegut com a "caixa negra" per la seva opacitat.

L'objectiu és, segons la Fundació, entendre millor els riscos i reptes que representen. Aquests sistemes automatitzats amb intel·ligència artificial poden servir per preveure desastres naturals o per fer una detecció precoç de malalties a través de l'anàlisi de dades, però també hem vist com poden generar discriminacions per gènere, per ètnia o per edat, i com poden ser injustos i ineficients.

Els algoritmes de l'Estat

Si cerquem quins són els algoritmes registrats que s'han posat en marxa a l'Estat i que, per tant, ens afecten directament, trobem diversos exemples a qüestionar.

El primer és un sistema per oferir oportunitats de feina del Servicio Público de Empleo Estatal (SEPE) qüestionat per les seves deficiències. En el moment que es va posar en marxa, les prestacions van baixar un 50%.

En segon lloc, en trobem un de la Policia Nacional per identificar denúncies falses que genera un biaix socioeconòmic ja que té en compte la gramàtica i la morfologia dels informes. També el Govern fa servir un sistema des del departament de Justícia per identificar el risc de reincidència de les persones recluses.

Finalment, hi ha un algoritme per detectar discursos d'odi a Twitter que encara no s'ha implementat i que podria discriminar certs grups sociodemogràfics. Creat per un analista de dades i desenvolupat entre la Universitat Autònoma de Barcelona i el ministeri de l'Interior, és capaç de filtrar unes 500 paraules relacionades amb insults, temes sensibles i col·lectius que acostumen a patir violència. Cada dia, identifica entre 3.000 i 4.000 tuits amb aquestes característiques.