María José Asquerino Lamparero
Profesora Ayudante Doctora de Derecho del Trabajo y de la Seguridad Social
Universidad de Sevilla
El primer concepto que atrapa nuestra atención es el relativo al algoritmo que es el protagonista por excelencia de las presentes líneas. Existen multitud de significados para él pero, de todos ellos, el que a nuestro juicio es más sugerente, por su expresividad y sencillez, es el que nos dispensa el profesor Mercader Uguina. El algoritmo es una receta.
Y, como toda receta, está compuesta de una serie de ingredientes que son los datos, automatizados -eso sí- porque estos son los algoritmos que nos interesan.
Hasta aquí nos atrevemos a señalar que ningún lector vería alguna diferencia con relación al proceso de aprendizaje humano, por cuanto nosotros también -para construir nuestra línea de pensamiento- precisamos de información, de datos. Pero hasta aquí las concomitancias.
Los algoritmos automatizados son insaciables y, en atención a ello, no tienen límite -ni cuantitativo ni cualitativo- alguno. El ser humano es (somos) naturalmente limitados, el algoritmo no. Piénsese que toda la información que constituye la base del conocimiento algorítmico se aloja en la nube y esta no tiene un límite máximo en lo que hace a su capacidad.
Otra de las diferencias relevantes es que el algoritmo no se encuentra predispuesto a asumir con más facilidad determinada información en atención a la fuente de procedencia. Nosotros sí. Asimilamos mejor unos conocimientos en relación a otros. El algoritmo absorbe, cual esponja, todo tipo de saber haciendo abstracción a la materia o disciplina concreta.
Tanta es la diferencia que se aprecia en atención a esa múltiple información que es capaz de asumir el algoritmo que ha sido necesario rescatar un concepto -el de big data– para referirnos a esta realidad.
Esos datos son suministrados de forma más o menos consciente por el ser humano cuando se adentra en la realidad virtual. Datos estos que son -siguiendo a Molina Navarrete- las auténticas minas del rey Salomón, el sueño de Sherlock Holmes.
Con esa información el algoritmo no solo se nutre y ofrece respuestas, sino que aprende y, además, y esto es lo más escalofriante, puede predecir conductas futuras.
Así pues, si tan poderoso es el algoritmo, ¿podría ser este la solución para poder tomar decisiones más justas, decisiones estas que no incurran en sesgos discriminatorios?
Porque, y permítasenos que en este punto nos remitamos a la interesantísima disertación que nos comparte Ignasi Beltrán de Heredia. Este profesor, glosando los estudios llevados a cabo por el premio nobel Kahneman nos habla no del sesgo (que también) sino del ruido. Seguimos con el profesor Ignasi Beltrán de Heredia y sus reflexiones en torno al estudio que lleva a cabo el premio novel a partir de cientos de miles de sentencias francesas y estadounidenses. Se concluye que no es solo que diferentes magistrados adoptaran distintas decisiones judiciales ante situaciones análogas, sino que el mismo juzgador dictaba pronunciamientos divergentes examinando supuestos de hechos similares. Y la razón que daba como resultado la situación antes expuesta era la existencia de ruido, esto es, aspectos que contaminaban el sentido del fallo y que se referían a circunstancias tales como la temperatura de fuera de la sala, el hambre del juzgador, si era o no el cumpleaños del encausado o si había o no ganado el equipo local.
Ante ello, creemos que no es descabellado plantearnos si este juicio humano se puede reemplazar por el de la máquina, el que llevaría a cabo el “cerebro flotante” (siguiendo la idea de la profesora Henar Álvarez), quizás entonces conseguiríamos decisiones más justas, menos discriminatorias.
El problema es que, como se ha avanzado anteriormente, el algoritmo aprende de los datos que nosotros, los humanos, le ofrecemos, así que no es descabellado pensar que ellos -los algoritmos- repliquen nuestros modelos discriminatorios. A ello se suma que el algoritmo aprende por sí mismo, lo que dificulta que el humano conozca en qué momento concreto este discrimina.
Recordemos lo que ocurrió con Tay, una muestra de la ingeniería humana, un sistema de inteligencia artificial que estaba diseñado para mantener conversaciones como si fuera una adolescente estadounidense. El problema fue que Tay aprendió a ser xenófoba y respondía con mensajes racistas a las conversaciones que los usuarios de Twitter le dirigían. El resultado fue que tuvieron que desconectarla. ¿En qué momento se transformó?
Los algoritmos también han sido examinados por los tribunales y, en ocasiones han corrido la misma suerte que Tay. Veamos algunos ejemplos.
Se diseñó un sistema legal algorítmico para detectar las posibilidades de comisión de fraude contra la Seguridad Social o/y hacienda. Como resultado de esas pesquisas se obtenía un informe de riesgo por medio del cual una persona (física o jurídica) sería investigada.
Cuando se examina la legalidad del sistema se concluye en que el algoritmo presentaba sesgos discriminatorios. El tribunal (Sentencia del Tribunal Distrito de La Haya de 5 de febrero de 2020) entiende que el objetivo perseguido (prevención de fraude) era lícito, incluso considera que se habían adoptado prevenciones suficientes como para asegurar el anonimato de los datos, incluyendo la circunstancia de que no se almacenaban, pero se desconocía cómo funcionaba el algoritmo y, sobre todo, que eran tantos datos los que tenía en consideración que -llega a decirnos la sentencia- “resulta difícil imaginar cuáles escapan a su conocimiento”.
Partimos de la firme convicción de que las ausencias al puesto de trabajo son normalmente tratadas de forma diferente por el empleador, en función de la causa por la que se ausenta el trabajador. No tiene la misma relevancia jurídica una ausencia porque la persona trabajadora está enferma o que ejerce su derecho a la huelga que la merece el absentismo al trabajo por desidia. Bien, esta diferencia tan asumida por la clase empresarial, no parece ser entendida por Frank, un algoritmo creado por la plataforma Deliveroo.
El sistema de asignación de trabajo lo llevaba a cabo el mencionado Frank a través de las conductas previas del trabajador. El repartidor elegía de entre todas las franjas horarias existentes, un lapso concreto en el que llevar a cabo su prestación de servicios; si finalmente no podía o no quería trabajar en ese horario reservado, podía negarse, pero este rechazo conllevaba que la próxima vez que accediera a la plataforma tendría menos probabilidades de elegir el horario en el que prestar sus servicios, porque el algoritmo otorgaba preferencia a los empleados que no habían cambiado de opinión en la reserva horaria. Pero, y aquí es donde surge el conflicto, el sistema no distinguía entre la razón del rechazo del repartidor, tratando por igual a todas las causas con la consiguiente lesión que para los derechos de los trabajadores esto implica (Sentencia del Tribunal de Bolonia de 31 de diciembre de 2020, 2949/20).
Otro ejemplo, esta vez en España. La Sentencia de la Audiencia Nacional de 10 de mayo de 2021 (ECLI: ES: AN: 2021: 1855), aunque obiter dicta, detecta indiscriminación indirecta en el sistema (de nuevo un algoritmo) de control de la jornada. Ese algoritmo exigía del trabajador el estar continuamente conectado y solo podía realizar las pausas cuando la empresa las tenía programadas o, en su defecto, durante el descanso de bocadillo. Esta práctica, aparentemente neutra, causa discriminación para las personas de mayor edad que se ven obligadas a realizar más pausas fisiológicas que los más jóvenes.
Otro ejemplo de lo que aquí estamos compartiendo viene de Amazon. Esta empresa diseñó -en el año 2014- un software para llevar a cabo un proceso de selección de personal y cubrir el puesto de técnico. El algoritmo fue entrenado con base a los perfiles que tenían los actuales trabajadores que ostentaban el puesto de trabajo antes mencionado y aprendió a descartar a las mujeres, porque tradicionalmente esta categoría era desempeñada por varones. El sistema era muy sutil; detectaba que el currículum era de una mujer no solo porque así se expresara explícitamente, sino también porque infería esa conclusión del uso de vocablos femeninos en esa hoja de vida laboral. El algoritmo no pudo ser reparado y, en 2017, fue eliminado. Al parecer, Amazon cuenta hoy en día con un sistema algorítmico de selección, aun cuando se desconoce cómo funciona este.
El último supuesto nos es facilitado por la profesora Ginès quien nos recuerda cómo una empresa (Gild) que elabora perfiles para empresas tecnológicas valoraba no solo el currículum del candidato, sino también si se integraría en la comunidad digital. Para ello utiliza un algoritmo que infiere que las personas con fuertes habilidades de programación acceden con frecuencia a una determinada página Web de manga. El algoritmo es discriminatorio por cuanto, como norma general, los cómic-manga suelen ser visitados por personas del sexo masculino, lo que suponía el descarte de las mujeres.
Con todo lo que hasta aquí llevamos compartido no es intención de quien redacta el presente el que lleguemos a la conclusión de que los algoritmos no nos pueden dispensar ayuda a los humanos. De hecho, y a pesar del debate suscitado acerca de la propiedad intelectual y eventual derecho a conocer la caja negra del algoritmo, el empleo de algoritmos puede ser muy útil en las diferentes fases de la vida contractual laboral. Y, en este sentido, es de valorar la relativa una nueva previsión en el art.64.4 del Estatuto de los Trabajadores (Real Decreto Legislativo 2/2015, de 23 de octubre) que dota de mayor transparencia a los sistemas algorítmicos, garantizando que “el algoritmo nunca podrá ser tu jefe” (como enuncia Molina Navarrete) lo que se traduce en la necesidad de que siempre haya un humano al mando para que pueda tomar decisiones que entrañen juicios de valor.
Y, como se ha venido comentando aquí en relación a otras causas discriminatorias, si queremos que los algoritmos sean respetuosos -en lo que a nosotros nos atañe con relación al derecho a la no discriminación- acaso sería preciso que se dedicara mayor atención a ello en la negociación colectiva. A ello haya que sumarle la necesidad de que la Inspección de Trabajo esté especialmente alerta al problema concreto de la selección de trabajadores, porque (y, en este punto acudimos a los estudios de la profesora Serrano Falcón) en 2019 solo fueron 260 las actuaciones de Inspección de Trabajo enfocadas en esta fase precontractual. Señalar también la conveniencia de abordar este tema desde una perspectiva multidisciplinar, que no se agota con (a pesar de su innegable relevancia) la intervención de los técnicos informáticos.
Situados en plena Edad Tecnológica si no garantizamos el universal acceso a las redes de toda la población, nos encontraremos ante un serio problema que hoy ya se vislumbra: la exclusión de sujetos a los que no se tendrá en consideración porque el sistema algorítimico no tendrá los datos de los que nutrirse y, por tanto, no podrá responder a sus necesidades.
*************************************
El presente texto se enmarca dentro del Proyecto de Investigación (US-1264479) denominado “Nuevas Causas y perfiles de discriminación e instrumentos para la tutela discriminatoria en el nuevo contexto tecnológico social -financiado con Fondos Feder-; y más exactamente, es el resultado de la ponencia presentada por la autora, dentro del panel dedicado a “Revolución Tecnológica y Discriminación” celebrado en Sevilla los días 16 y 17 de marzo de 2022 y organizado por dicho Proyecto
Dicho texto ha sido previamente publicado en Noticias CIELO
