Aunque la Inteligencia artificial está mejorando muchos aspectos de la vida humana haciendo más eficientes los procesos y con menores probabilidades de error, el desarrollo de algoritmos altamente sofisticados esconde un gran peligro que podría aumentar las ya muy crecidas brechas sociales en el mundo, tal y como lo revelan múltiples estudios que se han realizado en Estados Unidos en los últimos años.
¿Cuál es el impacto y el riesgo de los algoritmos en las brechas sociales?
Por: Gabriel E. Levy B.
Un estudio publicado en 2020 por la Universidad de George Washington en los Estados Unidos, descubrió que el algoritmo de Uber y otras aplicaciones de transporte, aplica un tasa más alta de cobro cuando el viaje es a zonas deprimidas o donde habitan personas con bajos recursos económicos, especialmente si se trata de zonas habitadas por personas afrodescendientes o latinos[1].
Los investigadores analizaron datos de más de 100 millones de viajes que ocurrieron la ciudad de Chicago entre noviembre de 2018 y diciembre de 2019. Cada viaje contenía información como punto de inicio y fin del viaje, duración, costo o si fue un viaje compartido o individual, así como el origen étnico del cliente.
“Tras analizar datos del censo de transporte de la ciudad de Chicago, se llegó al hallazgo de que estas compañías cobran un mayor precio por milla por viajes cuyo destino es una zona con mayor proporción de residentes pertenecientes a una minoría étnica que a vecindarios mayoritariamente blancos. Básicamente, si vas a un vecindario con una gran población negra, pagarás un precio más alto por tu viaje” Aylin Caliskan, coautora del estudio.
COMPAS es un software para el procesamiento judicial, el cual es utilizado por el sistema de justicia en al menos diez estados de Norte América, en donde los jueces lo emplean como ayuda para emitir sentencias. Este algoritmo se basa en estadísticas criminales y en varias ocasiones diversas organizaciones sociales y abogados litigantes han denunciado que, si el incriminado es de origen latino o de raza negra, el software tiende a calificar al sospechoso como “de alto riesgo de cometer nuevos crímenes[2]”.
Un análisis de más de 10.000 acusados en el estado de Florida publicado en 2016 por el grupo de investigación ProPublica, mostró que las personas negras eran a menudo calificadas con altas probabilidades de reincidir, mientras que los blancos eran considerados menos proclives a cometer nuevos crímenes[3].
Un estudio realizado por los investigadores Norte Americanos Gideon Mann y Cathy O’Neil, publicado en Hardvard Business Review, encontró que los programas o algoritmos encargados de realizar la preselección de hojas de vida para empresas y corporaciones en los Estados Unidos, no están desprovistos de prejuicios ni sesgos propios de los humanos, razón por la cual la selección no es objetiva y muchos perfiles pueden llegar a ser descartados simplemente por una idea preconcebida de quién programó el código[4].
Algoritmos Machistas
Una investigación desarrollada por la Universidad de Boston en Estados Unidos, empleó los algoritmos de Google News y posteriormente con la información recabada construyeron un sistema de aprendizaje automatizado, al cual luego de meses de entrenamiento le pusieron a resolver problemas simples como, por ejemplo: “hombre es a programador de ordenadores lo que mujeres a x”. La respuesta automática fue que “x = ama de casa”[5].
De igual forma el estudio identificó que, el algoritmo asociaba nombres femeninos como Sarah con palabras atribuidas a la familia, tales como padres y boda. En cambio, nombres masculinos como John tenían asociaciones más fuertes con palabras atribuidas al trabajo, como profesional y salario[6].
En 2014 la compañía Amazon presentó con bombos y platillos un nuevo algoritmo que sería el responsable de contratar el talento de su compañía. El sistema recabó información sobre solicitantes de empleo en Amazon durante un periodo de 10 años, y fue entrenado para observar patrones. No obstante, una investigación de Reuters encontró que el código se inclinaba significativamente por los perfiles masculinos y en muchos aspectos asumió patrones de comportamiento machistas. Cinco miembros del equipo que trabajaron en el desarrollo de esta herramienta le contaron a Reuters que el algoritmo “se enseñó a sí mismo que los candidatos masculinos eran una preferencia[7]“.
Otra investigación realizada por la Universidad de Sheffield, encontró que el algoritmo de BING, el motor de búsqueda de Microsfot, asociaba imágenes de compras y cocinas con mujeres. Así, deducía que “si está en la cocina, es mujer” la mayor parte de las veces. En cambio, asociaba imágenes de entrenamiento físico con hombres[8].
En el año 2019, el Departamento de Servicios Financieros de Nueva York (EE. UU.) inició una investigación comercial contra la compañía crediticia Goldman Sachs, por posible discriminación de género en la emisión de los cupos de sus tarjetas de crédito.
La investigación comenzó después de que el emprendedor en compañías de internet David Heinemeier Hansson, tuiteara que la tarjeta Apple Card, emitida por Goldman Sachs, le había otorgado un límite de crédito 20 veces mayor que el de su esposa, aunque los dos presentaron la declaración de impuestos conjunta y ella obtuvo una mejor solvencia crediticia[9].
La Neutralidad de Algoritmos
El tema de la Neutralidad de los Algoritmos ha sido ampliamente discutido por los académicos en la última década, y es un tema que analizamos ampliamente en anteriores artículos[10].
El escándalo de Facebook y la empresa británica Cambridge Analytica, Es un perfecto ejemplo de una situación en la cual los algoritmos dejan de ser neutrales, es decir, cuando pasan a beneficiar un interés, persona u organización en perjuicio de otras personas, intereses u organizaciones[11]. Así quedó documentado en muchas campañas políticas alrededor del mundo, en donde el algoritmo de Cambridge Analytic buscó beneficiar a un candidato en perjuicio de otros, usando una mezcla de estrategias que incluyó el uso de información de los votantes, especialmente sus miedos y temores más profundos, para exponerlos a contenidos, en su gran mayoría falsos, que buscaban inducir el voto [7].
En otros casos posiblemente lesivos, se ha demostrado que los algoritmos son utilizados para favorecer intereses comerciales. Tal es el caso de Amazon, que utiliza el código dentro de su propia tienda virtual para exhibir sus productos en los primeros lugares, por encima de todos sus competidores, o el caso de Google, que siempre exhibe en los primeros lugares búsquedas relacionadas con sus productos, es decir, si alguien escribe en el motor de búsqueda la palabra “correo electrónico”, le saldrá como primera opción “GMail”.
Por este tipo de prácticas, Google recibió una millonaria sanción de 5 mil millones de dólares por parte de la Unión Europea, quien consideró en la sentencia que la empresa “bloquea la innovación abusando de su posición dominante”, entre otras cosas “a través de la configuración del algoritmo de su motor de búsqueda”[12].
Se requiere una mayor regulación en la materia
A finales de 2020, Naciones Unidas a través de uno de sus comités, emitió una recomendación para 182 países adheridos a la Convención sobre la Eliminación de Todas las Formas de Discriminación Racial, pongan especial atención en los sesgos que la inteligencia artificial y los macrodatos pueden crear[13].
Pero no solamente es Naciones Unidas quien lo pide, desde hace varios años múltiples organizaciones defensores de los derechos humanos alrededor del mundo, vienen pidiendo a los gobierno poner mayor atención en los sistemas de inteligencia artificial y crear regulaciones que favorezcan la neutralidad de estos códigos.
En Conclusión, muchos estudios académicos de gran envergadura en los Estados Unidos, han demostrado que el desarrollo de algoritmos y sistemas de inteligencia artificial pueden influir en el aumento de la brechas sociales, ya sea al pedir un empleo, solicitar un crédito o incluso en cosas tan básicas como transportarse dentro de una ciudad.
Es por lo anterior que se hace necesaria por una parte que se promueva globalmente la transparencia y la neutralidad de algoritmos, y de otra parte una mayor regulación de los sistemas de Maching Learning y de Inteligencia Artificial, mediante la incorporación de mecanismos efectivos de control que eviten que este tipo de desarrollos atenten contra los derechos humanos y especialmente se garantice que los códigos no asumirán posturas machistas, aporofobicas, racistas y xenofóbicas.
[1] Estudio publicado por la Universidad de George Washintong
[2] Artículo de BBC sobre el impacto de algoritmos el caso COMPAS
[3] Artículo de BBC sobre el impacto de algoritmos el caso COMPAS
[4] Investigación publicada en Hardvard Business Review
[5] Estudio realizado por la Universidad de Boston en Estados Unidos
[6] Estudio realizado por la Universidad de Boston en Estados Unidos
[7] Investigación de Reuters sobre discriminación de algoritmo de amazon
[8] Estudio publicado por la Universidad de Sheffield
[9] Artículo publicado por Mit sobre investigación contra Goldman Sachs
[10] Artículo Andinalink: Neutralidad de Algoritmos
[11] Artículo BBC sobre el escándalo de Cambrid Analitica
[12] Artículo de BBC sobre la sanción de la Unión Europea a Google
[13] Recomendación de Naciones Unidas sobre sesgos de algortimos
