Recientemente recibí la noticia, he de admitir que con cierta sorpresa, de que se habían escrito algunos comentarios en tono crítico sobre la imagen que decidimos emplear para la página dedicada a la iniciativa Interblogs de Derecho del Trabajo denominada “La regulación de la Inteligencia Artificial en el Mundo laboral”. Estas líneas vienen a explicar brevemente el proceso por el que se creó la imagen, la problemática real que puede derivarse de los sesgos algorítmicos y por qué, pese a la “polémica” suscitada, insistimos en dejar la imagen como referencia.
En primer lugar, permítanme explicarles (seguro que la mayoría lo sabe) que los sesgos algorítmicos no suelen existir por sí mismos, sino que derivan de las propias discriminaciones en las que el ser humano ha sido partícipe históricamente. Cuando a una herramienta que emplea inteligencia artificial se le realiza una solicitud, esta va a recopilar los datos que pueda encontrar en su red para dar con un resultado: si los datos presentan un sesgo evidente, la herramienta va a reflejar el mismo. Una de las principales cuestiones de cara al futuro, como es obvio, será entrenar a dichas herramientas para que sean capaces de eliminar dichas brechas o, al menos, que podamos darles instrucciones para evitar que aparezcan (algo que decidimos no hacer porque, por decirlo de alguna manera, queríamos precisamente observar la “esencia” de la inteligencia artificial y ver el resultado que transmitía si nosotros no hacíamos nada por evitar los sesgos; esto es, queríamos un producto que reflejara la realidad que encuentra la IA en su navegación por los datos de internet o con los que haya sido entrenada).
En el caso concreto de nuestra imagen, la herramienta utilizada fue una básica en la creación de imágenes con apoyo de IA: Ideogram. Esta web permite introducir un texto o, directamente, palabras sueltas [1], de manera que la herramienta va a reconocerlas y a generar una imagen a partir de esas ideas. Pero, a mayor abundamiento, Ideogram te ofrece la posibilidad de utilizar lo que denomina un Magic Prompt (lo que en español podríamos llamar “comando mágico o creativo”), es decir, que en base a las palabras o el texto que le indiques, te genere toda una “historia” que sirva de base para la imagen que va a generarse [2]. Imagen a partir de unos datos que han sido obtenidos previamente por la herramienta, pues “la IA primero reconocerá lo que quieren decir las palabras que le propones, y luego dibujará una imagen a partir de ellas teniendo en cuenta lo que sus creadores le han entrenado para aprender” [3].
En nuestro caso, el Magic prompt generado a partir de las palabras que incluimos fue el siguiente: “A thoughtfully composed image of a group of university professors gathered around a large, circular table, intently discussing the future of «labour law and AI.» The professors are dressed in formal attire, each with a unique expression, showcasing their intellectual curiosity. Charts and books related to labor law and AI are scattered across the table, while a large projector screen displays a slide highlighting the key points of their conversation. The room is filled with a sense of academic rigor and the anticipation of progress in the field” [Una imagen cuidadosamente diseñada de un grupo de profesores universitarios reunidos alrededor de una gran mesa circular, discutiendo atentamente el futuro del «derecho laboral y la IA». Los profesores visten trajes formales, cada uno con una expresión única, mostrando su curiosidad intelectual. Hay gráficos y libros relacionados con el derecho laboral y la IA esparcidos por la mesa, mientras un gran proyector muestra una diapositiva en la que se destacan los puntos clave de su conversación. En la sala se respira rigor académico y expectación por los avances en este campo]. Lo curioso es que nosotros solo introducimos los comandos que nos parecían más esenciales: “labour law” [derecho laboral], “future” [futuro], “labour law and ai” [derecho laboral e IA], “university professors” [profesoras/es universitarios, ya sabemos que en inglés es totalmente neutro], “university teachers discussing the future of «labour law and ai»” [docentes universitarios discutiendo sobre el futuro del “derecho del trabajo y la IA”]. A raíz de estas mínimas indicaciones, la web fue capaz de desarrollar dicho magic prompt y la imagen objeto de crítica, donde obviamente se observan unos sesgos evidentes que, reitero a riesgo de repetirme en demasía, son resultado de los datos con los que trabaja la herramienta, datos obtenidos de la realidad histórica humana con los que ha sido entrenada.
Se nos ha hecho hincapié en la cuestión del sesgo por razón de género, pero ¿por qué quedarnos solo ahí? La idea de la herramienta es clara, incluso si le volvemos a solicitar el mismo magic prompt:
Un profesor universitario, mayoritariamente, será un hombre de edad avanzada (o, al menos, relativamente) y raza blanca. ¿Acaso no hay profesoras, profesores jóvenes, docentes de otras razas o etnias, o incluso docentes con discapacidades físicas apreciables a simple vista? Sí suelen presentarse a varias personas con gafas, aunque resulta curioso que, por ahora, según Ideogram, parece que lo normal es que apenas haya profesores calvos en la Universidad, aunque aquí ya tenemos dudas de si la herramienta se ha entrenado con ese tipo de datos (algo que resultaría realmente curioso) o también se le ha implementado un sistema estético que entienda que resulta más adecuado mostrar a hombres con una buena densidad capilar (lo cual se podría nuevamente considerar discriminatorio, aunque a ciertas personas les pueda resultar exagerado).
Pero haremos más pruebas para corroborar si, efectivamente, los datos utilizados para el entrenamiento de Ideogram muestran esa imagen del profesorado universitario. Si introducimos los prompts “future, university, teachers discussing the future of labor law and ai”, la herramienta automáticamente producirá el siguiente magic prompt: “A futuristic university setting, where a group of distinguished professors gather around a high-tech holographic projection of a diploma. They are engaged in a deep discussion about the future of labor law and AI, with a sense of urgency and intrigue. The background features advanced technology, such as robotic arms and holographic displays, giving the scene a modern and innovative atmosphere” [Un escenario universitario futurista, donde un grupo de distinguidos profesores se reúnen en torno a una proyección holográfica de alta tecnología de un diploma. Están inmersos en un profundo debate sobre el futuro del derecho laboral y la IA, con una sensación de urgencia e intriga. El fondo presenta tecnología avanzada, como brazos robóticos y pantallas holográficas, que confieren a la escena un ambiente moderno e innovador]. Y nos creará la siguiente imagen:
Una vez más, hombres blancos de edad avanzada. Ninguna mujer, ningún latinoamericano, ningún afroamericano, etc.
Sin embargo, volvamos a hablar de los datos: según la estadística de personal de Universidades del Curso 2021-2022 en España [4], del total de 133.484 personas que conformaban el personal docente e investigador en las Universidades españolas (tanto públicas como privadas), 75.185 eran hombres y 58.299 mujeres. Es decir, el género femenino estaba representado en un 43,7%, cifra que ascendía ligeramente hasta el 43,9% en el ámbito del Derecho. Por tanto, ¿no sería frívolo contemplar la existencia de un sesgo algorítmico cuando nosotros mismos, como seres humanos, hemos conducido a una situación en la que, al menos en España, en el Curso 2021-2022 había 16.886 profesores más que profesoras?
Intentémoslo una vez más con una sola frase como prompt: university teachers discussing the future of «labor law and ai». El magic prompt generado es el que sigue: “A thought-provoking artwork depicting a group of diverse university professors engaged in a deep conversation about the future of labor law and AI. They are seated around a large wooden table adorned with books and papers. Each professor has a unique expression and demeanor, reflecting their individual personalities. In the background, a large screen displays a futuristic cityscape, with robots and drones navigating the streets. The atmosphere is one of intellectual curiosity and anticipation for the challenges that lie ahead” [Una obra de arte que invita a la reflexión y que representa a un grupo de diversos profesores universitarios inmersos en una profunda conversación sobre el futuro del derecho laboral y la IA. Están sentados alrededor de una gran mesa de madera adornada con libros y papeles. Cada profesor tiene una expresión y un comportamiento únicos, que reflejan sus personalidades individuales. De fondo, una gran pantalla muestra un paisaje urbano futurista, con robots y drones recorriendo las calles. El ambiente es de curiosidad intelectual y expectación ante los retos que nos aguardan]. Y aquí tenemos una pequeña y grata sorpresa:
Además de una mujer, aparecen dos hombres de raza negra. Un ligero avance en el que, sin embargo, se sigue apreciando la misma mayoría: hombres blancos de avanzada edad.
Siguiendo en la Universidad, quisimos representar una clase futurista para conocer cuál era la conclusión de la herramienta al respecto. Usamos este prompt: “A futuristic illustration of a university classroom where AI regulation is being discussed. The professor, dressed in a professorial robe, stands at the front of the classroom, using a holographic projector to display information on AI regulation. The students, wearing virtual reality headsets, are engaged in the discussion, their avatars represented as 3D holograms. The atmosphere is a blend of high-tech innovation and traditional academic setting” [Ilustración futurista de un aula universitaria en la que se debate sobre la regulación de la IA. El profesor, vestido con una toga, se sitúa en la parte delantera del aula y utiliza un proyector holográfico para mostrar información sobre la regulación de la IA. Los estudiantes, que llevan cascos de realidad virtual, participan en el debate con sus avatares representados como hologramas en 3D. El ambiente es una mezcla de innovación de alta tecnología y entorno académico tradicional], y el resultado obtenido fue el que vemos:
Entre el alumnado se observa una mayor presencia femenina, pero el resto de razas no blancas siguen sin tener cabida y, una vez más (ya no es sorpresa) nos hallamos frente a un profesor blanco de avanzada edad.
Dado que la curiosidad es una cualidad de todo investigador, nos surge la duda de saber qué hubiese ocurrido si solo hubiésemos incluido los títulos del proyecto que tenemos en mente como prompts: “iniciativa interblogs, La Regulación De La Inteligencia Artificial En El Mundo Laboral”. El magic prompt propuesto por la herramienta es “A thought-provoking illustration of a futuristic workplace, where AI-powered robots and humans work in harmony. The scene is set in a modern office, with a digital clock showing the year 2050. A diverse group of people and AI are gathered around a conference table, discussing the regulation of artificial intelligence in the world of work. A large screen in the background projects the words «Iniciativa Interblogs» and displays relevant stats and figures. The atmosphere is one of collaboration, innovation, and progress in a rapidly evolving labor market” [Una ilustración que invita a la reflexión sobre un lugar de trabajo futurista, en el que robots con inteligencia artificial y humanos trabajan en armonía. La escena se sitúa en una oficina moderna, con un reloj digital que indica el año 2050. Un grupo diverso de personas y de IA están reunidos en torno a una mesa de conferencias, discutiendo la regulación de la inteligencia artificial en el mundo laboral. Una gran pantalla de fondo proyecta las palabras «Iniciativa Interblogs» y muestra estadísticas y cifras relevantes. El ambiente es de colaboración, innovación y progreso en un mercado laboral en rápida evolución]. Y es aquí donde, como vemos, nos hemos salido del ámbito universitario y nos hemos introducido en el “lugar de trabajo futurista”, dando paso a un enfoque mucho más igualitario en la empresa:
Vemos que aquí se aprecia una participación mucho mayor de la mujer en el entorno laboral, e incluso se incluyen robots humanoides en la ecuación. Por tanto, en el ámbito laboral sí parece incluir a la mujer en condiciones de igualdad, pero probaremos una vez con el prompt único “future workplace people” y quitando la opción de generación del magic prompt. Este sería el resultado:
Por fin encontramos como resultado no solo una mujer, sino que además presenta rasgos asiáticos. Ideogram suele ofrecer 4 imágenes en cada búsqueda, y como en los casos anteriores, las otras eran muy similares, pero la mujer era de raza blanca (sin embargo, esta que vemos era la primera opción). Pero como es una imagen muy simple, veremos qué ocurre si permitimos que actúe el magic prompt, que queda como sigue: “A futuristic office setting with a diverse group of employees working in harmony. The office features sleek, modern design with floating desks, holographic screens, and a transparent conference room. People from different backgrounds and cultures are wearing stylish, futuristic attire, working on their holographic devices. The atmosphere is a blend of professionalism and creativity, suggesting a technologically advanced and inclusive future workplace” [Una oficina futurista con un grupo diverso de empleados trabajando en armonía. La oficina presenta un diseño elegante y moderno con mesas flotantes, pantallas holográficas y una sala de conferencias transparente. Personas de distintas procedencias y culturas visten atuendos futuristas y elegantes y trabajan con sus dispositivos holográficos. El ambiente es una mezcla de profesionalidad y creatividad, que sugiere un futuro lugar de trabajo tecnológicamente avanzado e integrador].
Es obviamente un entorno mucho más integrador e igualitario, por lo que parece que, en términos generales, el entorno típico de prestación del trabajo actual (la oficina) sí es concebido por la herramienta, según los datos que ha obtenido, como un ámbito donde la discriminación es mucho menos acentuada (si bien en este tipo de imágenes no suelen incluirse a los trabajadores mayores, esperemos que no sea una predicción del todo precisa).
Dado que algunas de las críticas que recibimos se referían específicamente a la discriminación por razón de género, también quisimos comprobar qué ocurriría si le solicitásemos a la web imágenes sobre sectores en los que, por el contrario, es más frecuente la presencia de mujeres. Así, acudimos a datos de ILOSTAT [5] que nos ilustraban acerca de la gran presencia femenina en el sector de la enfermería y, a modo de ejemplo, le solicitamos que nos reflejara un “nurse team”, generándose el magic prompt “A compassionate and dedicated team of nurses working together in a modern hospital. They are all wearing their crisp, white nursing uniforms and smiling as they collaborate on a patient’s care. They hold medical equipment and charts, as they communicate effectively to ensure the best possible outcome for their patient. The background showcases a clean and organized hospital room, with soft, soothing colors and natural light streaming in from the windows” [Un equipo compasivo y entregado de enfermeras trabajando juntas en un hospital moderno. Todas llevan sus uniformes de enfermería blancos y limpios y sonríen mientras colaboran en el cuidado de un paciente. Sostienen equipos médicos y gráficos, mientras se comunican eficazmente para garantizar el mejor resultado posible para su paciente. El fondo muestra una habitación de hospital limpia y organizada, con colores suaves y relajantes y luz natural que entra por las ventanas]:
Como podíamos intuir, efectivamente todas las enfermeras que aparecen en la imagen son mujeres. Lo curioso de este caso es que, tanto en esta imagen como en las otras generadas mediante el mismo prompt, la diversidad cultural sí es bastante llamativa.
Lo más interesante de los datos de ILOSTAT es que, en el ámbito del profesorado, también se menciona la prevalencia de la mujer. Pero, dados los datos sobre universidades antes vistos, parece lógico pensar que se refiere a la generalidad de profesoras, incluyendo las de Educación Primaria, Secundaria o incluso infantil. Para comprobar ello, decidimos pedirle a Ideogram que genere una imagen a partir del prompt completamente neutro “school teachers discussing about AI future”, sustituyendo así University por school. De esa manera, el magic prompt “A thought-provoking image of a group of school teachers gathered around a large touch-screen display, discussing the future of AI in education. They are wearing their traditional school attire, and their expressions show a mix of curiosity, concern, and excitement. The touch-screen display shows various AI-driven educational tools, such as virtual classrooms, personalized learning modules, and AI-powered grading systems. The background is a modern school setting with interactive whiteboards, laptops, and various educational aids” [Una imagen que invita a la reflexión de un grupo de profesores reunidos en torno a una gran pantalla táctil debatiendo sobre el futuro de la inteligencia artificial en la educación. Llevan su atuendo escolar tradicional y sus expresiones muestran una mezcla de curiosidad, preocupación y entusiasmo. La pantalla táctil muestra varias herramientas educativas basadas en IA, como aulas virtuales, módulos de aprendizaje personalizados y sistemas de calificación basados en IA. El fondo es un entorno escolar moderno con pizarras interactivas, ordenadores portátiles y diversos materiales educativos] nos ofrece la siguiente imagen:
Como estábamos imaginando, el sesgo es evidente: un solo hombre frente a siete mujeres. Pero quizás la pregunta que deberíamos hacernos es la siguiente: ¿Es esto un verdadero sesgo algorítmico o solo refleja la realidad social que vivimos actualmente, o al menos la que hemos venido viviendo históricamente?
En definitiva, lo que queremos hacer ver es que Ideogram es un proyecto que nació “compuesto por seis expertos en ciencias de la computación, con antecedentes en empresas tecnológicas de renombre como Google y Twitter” logrando “una financiación semilla de 16.5 millones de dólares, con el respaldo de firmas como a16z e Index Ventures” [6]. Es decir, se trata de una empresa importante que seguro ha hecho un gran esfuerzo de entrenamiento y recopilación de datos, datos reales que pueden obtenerse por cualquier medio y existen como tales, favoreciendo el aprendizaje de la herramienta. Así pues, podemos concluir que esos sesgos que se aprecian en las imágenes generadas mediante herramientas de IA no deben considerarse solamente como sesgos algorítmicos, como si fuera la propia inteligencia artificial la que discriminara, sino que derivan de la discriminación que nosotros, como seres humanos, ejercemos y hemos venido ejerciendo desde los tiempos más remotos: “Es ya axiomático afirmar que el funcionamiento algorítmico genera sesgos. La principal razón es que los propios humanos, como seres consustancialmente sociales y provistos de determinados valores, actuamos siempre con prejuicios, a su vez causantes de sesgos” [7]. Quizás debamos tener cuidado con la inmensa atención que le estamos prestando a la discriminación algorítmica o sesgos injustos y debamos retomar la base de la misma, que es la discriminación humana en sí misma, la cual termina por verse representada en las herramientas de inteligencia artificial. En suma, el sesgo “discriminatorio” que se aprecia en los resultados de IA no es sino la consecuencia –formal- de una causa más profunda: la discriminación –material- que impera en nuestra sociedad aún en el siglo XXI. La tarea primordial de las y los profesionales iuslaboralistas no es (solamente) hacer frente a esas consecuencias, sino (principalmente) eliminar las causas que las provocan.
No ha sido este un trabajo de gran calado jurídico, ni tampoco era lo que se pretendía, pero esperamos haber podido ayudar a entender un poco mejor cómo funcionan estas herramientas y a qué se deben esos sesgos que se generan constantemente.
Con todo, como académicos nos sentimos agradecidos de que se generen estos conflictos y debates que nos permitan expresar nuestras ideas y dialogar cordialmente sobre los temas que nos apasionan y, a su vez, nos preocupan. Precisamente, iniciativas como la que dio lugar a la conflictiva imagen no tendrían sentido si no incentivaran la discusión desde el respeto y la tolerancia. De este modo, reiteramos nuestras disculpas a toda persona que se haya sentido agraviada por la imagen, que creemos enormemente didáctica (de hecho, nuestra intención era justamente la contraria, dejar claro el sesgo discriminatorio de la IA; lamentamos no haberlo sabido explicar correctamente) y, como tal, siempre respetuosamente, la mantendremos en el blog como ejemplo del arduo camino que nos queda por recorrer en materia de IA y discriminación (y otras muchas materias, pues está demostrado el potencial que puede alcanzar la inteligencia artificial en el futuro, incluso en el más inmediato).
[1] Prompts, en términos de IA.
[2] “Al final, este tipo de inteligencias artificiales necesitan la máxima información posible para hacer una gran creación, por lo que si tú incluyes una frase escueta, esta función [magic prompt] cogerá tus ideas para darles más forma y así ayudar con el resultado final”. González Valenzuela, C., “Ideogram AI: cómo funciona la mejor IA para crear imágenes con texto alternativa a Midjourney”, en ComputerHoy, 11 abril 2024.
[3] Fernández, Y., “Ideogram AI: qué es y cómo usar esta alternativa a Midjourney para crear imágenes por inteligencia artificial con textos dentro”, en Xataka, 5 octubre 2023.
[4] Estadística de personal de las universidades Curso 2021-2022
[5] Obtenido de la página web “These occupations are dominated by women”, 6 marzo 2020. También se valora en dichos datos una superior aparición de oficinistas femeninas, lo que nos hace entender por qué las imágenes sobre el “workplace” sí contaban con mayor presencia de mujeres.
[6] “Ideogram AI: innovación en la creación de imágenes”, en Manufactura Latam, 9 octubre 2023.
[7] García Mexía, P., “La inteligencia artificial. Una mirada desde el Derecho”, en El Notario del Siglo XXI.
