Una investigación realizada por la organización CIVIO concluyó que el software BOSCO, que determina quién tiene acceso al bono social de electricidad, se lo denegaba a personas que sí tienen derecho al mismo. El simulador del ingreso mínimo vital, que permite saber si una persona podría ser beneficiaria del mismo y así orientarle sobre si comenzar o no la tramitación, se inicia preguntando sobre el estatus migratorio de la persona y el tiempo de residencia en España. En caso de no residir de forma continuada, el simulador estima que no tendría derecho al IMV aún cuando la ley establece excepciones al año de residencia en España. La aplicación EPV-R, que usa la Ertzaintza para predecir el riesgo de violencia de género, pregunta en primer lugar la nacionalidad de víctima y agresor y estudios previos han establecido que la nacionalidad no es un factor determinante.
Son alguno de los casos de discriminación en la Inteligencia Artificial que recoge el informe "Una introducción a la IA y la discriminación algorítmica para movimientos sociales" realizado dentro del proyecto AlgoRace, en el que participa el investigador de la UCO Javier Sánchez Monedero, y que se presentó el sábado en el Espacio Afro Conciencia de Madrid. Este estudio se orienta como una herramienta pedagógica para que colectivos de Derechos Humanos y que luchan contra la discriminación racial puedan entender, a través de ejemplos concretos, cómo funciona la IA y qué problemas puede causar.
El informe, que se realizó durante un año, concluye que la IA no es neutral ni objetiva ya que parte de un contexto previo de desigualdad. Como afirma Sánchez Monedero, "no se trata de errores en los algoritmos, sino que son consecuencia de la desigualdad estructural y de cómo funciona el mundo. Por eso la IA no funciona igual para todas las personas".
De la misma manera lo explica Paula Guerra Cáceres, co-cordinadora de AlgoRace, quien afirma que "la IA es un producto de la sociedad, como lo es el cine, la publicidad o la literatura. Por ello reproduce y amplifica las desigualdades sociales". Esto es así porque "todas estas tecnologías se piensan, desarrollan e implementan en un marco general de racismo estructural y, por lo tanto, en ese marco surgen tecnologías con sesgos racistas, machistas, clasistas..., porque vivimos en un mundo que por estructura es así", concluye.
Y esto tiene consecuencias para la sociedad ya que, en muchas ocasiones, los algoritmos y la IA tienen que ver con derechos humanos e igualdad de oportunidades y no solo con aplicaciones móviles, que es lo que principalmente piensa la gente.
Para Guerra Cáceres estas situaciones de desigualdad podrían evitarse de tres modos. La primera de ella, que sería la ideal para la co-cordinadora de AlgoRace es que los algoritmos no se usen para cuestiones que tiene que ver con derechos sociales. En caso de que no sea posible propone otras dos alternativas: que los equipos que desarrollan los softwares sean multidisciplinares y diversos para así reflejar la diversidad de la sociedad, y que los algoritmos que se usan para la toma de decisiones automatizadas sean públicos, auditables y revisables de tal manera que si se observa que reproducen desigualdades sociales e injusticias puedan corregirse.
La presentación del informe estuvo a cargo de Javier Sánchez Monedero, Paula Guerra Cáceres y del periodista y coordinador de AlgoRace Youssef M. Ouled. Además, el informe se presentará el 30 de noviembre en Barcelona con una mesa integrada por Míriam Hatibi, especializada en estrategias comunicativas con perspectiva antirracista, Ana Valdivia, profesora e investigadora en Inteligencia Artificial, Gobierno y Políticas en el Oxford Internet Institute de la Universidad de Oxford, y con la investigadora Anyely Marín Cisneros.