Mar\u00eda Jos\u00e9 Asquerino Lamparero<\/p>\n
Profesora Ayudante Doctora de Derecho del Trabajo y de la Seguridad Social<\/p>\n
Universidad de Sevilla<\/p>\n
El primer concepto que atrapa nuestra atenci\u00f3n es el relativo al algoritmo que es el protagonista por excelencia de las presentes l\u00edneas. Existen multitud de significados para \u00e9l pero, de todos ellos, el que a nuestro juicio es m\u00e1s sugerente, por su expresividad y sencillez, es el que nos dispensa el profesor Mercader Uguina. El algoritmo es una receta.<\/p>\n
Y, como toda receta, est\u00e1 compuesta de una serie de ingredientes que son los datos, automatizados -eso s\u00ed- porque estos son los algoritmos que nos interesan.<\/p>\n
Hasta aqu\u00ed nos atrevemos a se\u00f1alar que ning\u00fan lector ver\u00eda alguna diferencia con relaci\u00f3n al proceso de aprendizaje humano, por cuanto nosotros tambi\u00e9n -para construir nuestra l\u00ednea de pensamiento- precisamos de informaci\u00f3n, de datos. Pero hasta aqu\u00ed las concomitancias.<\/p>\n
Los algoritmos automatizados son insaciables y, en atenci\u00f3n a ello, no tienen l\u00edmite -ni cuantitativo ni cualitativo- alguno. El ser humano es (somos) naturalmente limitados, el algoritmo no. Pi\u00e9nsese que toda la informaci\u00f3n que constituye la base del conocimiento algor\u00edtmico se aloja en la nube y esta no tiene un l\u00edmite m\u00e1ximo en lo que hace a su capacidad.<\/p>\n
Otra de las diferencias relevantes es que el algoritmo no se encuentra predispuesto a asumir con m\u00e1s facilidad determinada informaci\u00f3n en atenci\u00f3n a la fuente de procedencia. Nosotros s\u00ed. Asimilamos mejor unos conocimientos en relaci\u00f3n a otros. El algoritmo absorbe, cual esponja, todo tipo de saber haciendo abstracci\u00f3n a la materia o disciplina concreta.<\/p>\n
Tanta es la diferencia que se aprecia en atenci\u00f3n a esa m\u00faltiple informaci\u00f3n que es capaz de asumir el algoritmo que ha sido necesario rescatar un concepto -el de big data<\/em>– para referirnos a esta realidad.<\/p>\n Esos datos son suministrados de forma m\u00e1s o menos consciente por el ser humano cuando se adentra en la realidad virtual. \u00a0Datos estos que son -siguiendo a Molina Navarrete- las aut\u00e9nticas minas del rey Salom\u00f3n, el sue\u00f1o de Sherlock Holmes.<\/p>\n Con esa informaci\u00f3n el algoritmo no solo se nutre y ofrece respuestas, sino que aprende y, adem\u00e1s, y esto es lo m\u00e1s escalofriante, puede predecir conductas futuras.<\/p>\n As\u00ed pues, si tan poderoso es el algoritmo, \u00bfpodr\u00eda ser este la soluci\u00f3n para poder tomar decisiones m\u00e1s justas, decisiones estas que no incurran en sesgos discriminatorios?<\/p>\n Porque, y perm\u00edtasenos que en este punto nos remitamos a la interesant\u00edsima disertaci\u00f3n que nos comparte Ignasi Beltr\u00e1n de Heredia. Este profesor, glosando los estudios llevados a cabo por el premio nobel Kahneman nos habla no del sesgo (que tambi\u00e9n) sino del ruido. Seguimos con el profesor Ignasi Beltr\u00e1n de Heredia y sus reflexiones en torno al estudio que lleva a cabo el premio novel a partir de cientos de miles de sentencias francesas y estadounidenses. Se concluye que no es solo que diferentes magistrados adoptaran distintas decisiones judiciales ante situaciones an\u00e1logas, sino que el mismo juzgador dictaba pronunciamientos divergentes examinando supuestos de hechos similares. Y la raz\u00f3n que daba como resultado la situaci\u00f3n antes expuesta era la existencia de ruido, esto es, aspectos que contaminaban el sentido del fallo y que se refer\u00edan a circunstancias tales como la temperatura de fuera de la sala, el hambre del juzgador, si era o no el cumplea\u00f1os del encausado o si hab\u00eda o no ganado el equipo local.<\/p>\n Ante ello, creemos que no es descabellado plantearnos si este juicio humano se puede reemplazar por el de la m\u00e1quina, el que llevar\u00eda a cabo el \u201ccerebro flotante\u201d (siguiendo la idea de la profesora Henar \u00c1lvarez), quiz\u00e1s entonces conseguir\u00edamos decisiones m\u00e1s justas, menos discriminatorias.<\/p>\n El problema es que, como se ha avanzado anteriormente, el algoritmo aprende de los datos que nosotros, los humanos, le ofrecemos, as\u00ed que no es descabellado pensar que ellos -los algoritmos- repliquen nuestros modelos discriminatorios. A ello se suma que el algoritmo aprende por s\u00ed mismo, lo que dificulta que el humano conozca en qu\u00e9 momento concreto este discrimina.<\/p>\n Recordemos lo que ocurri\u00f3 con Tay, una muestra de la ingenier\u00eda humana, un sistema de inteligencia artificial que estaba dise\u00f1ado para mantener conversaciones como si fuera una adolescente estadounidense. El problema fue que Tay aprendi\u00f3 a ser xen\u00f3foba y respond\u00eda con mensajes racistas a las conversaciones que los usuarios de Twitte<\/em>r le dirig\u00edan. El resultado fue que tuvieron que desconectarla. \u00bfEn qu\u00e9 momento se transform\u00f3?<\/p>\n Los algoritmos tambi\u00e9n han sido examinados por los tribunales y, en ocasiones han corrido la misma suerte que Tay. Veamos algunos ejemplos.<\/p>\n Se dise\u00f1\u00f3 un sistema legal algor\u00edtmico para detectar las posibilidades de comisi\u00f3n de fraude contra la Seguridad Social o\/y hacienda. Como resultado de esas pesquisas se obten\u00eda un informe de riesgo por medio del cual una persona (f\u00edsica o jur\u00eddica) ser\u00eda investigada.<\/p>\n Cuando se examina la legalidad del sistema se concluye en que el algoritmo presentaba sesgos discriminatorios. El tribunal (Sentencia del Tribunal Distrito de La Haya de 5 de febrero de 2020) entiende que el objetivo perseguido (prevenci\u00f3n de fraude) era l\u00edcito, incluso considera que se hab\u00edan adoptado prevenciones suficientes como para asegurar el anonimato de los datos, incluyendo la circunstancia de que no se almacenaban, pero se desconoc\u00eda c\u00f3mo funcionaba el algoritmo y, sobre todo, que eran tantos datos los que ten\u00eda en consideraci\u00f3n \u00a0que -llega a decirnos la sentencia- \u201cresulta dif\u00edcil imaginar\u00a0 cu\u00e1les escapan a su conocimiento\u201d.<\/p>\n Partimos de la firme convicci\u00f3n de que las ausencias al puesto de trabajo son normalmente tratadas de forma diferente por el empleador, en funci\u00f3n de la causa por la que se ausenta el trabajador. No tiene la misma relevancia jur\u00eddica una ausencia porque la persona trabajadora est\u00e1 enferma o que ejerce su derecho a la huelga que la merece el absentismo al trabajo por desidia. Bien, esta diferencia tan asumida por la clase empresarial, no parece ser entendida por Frank, un algoritmo creado por la plataforma Deliveroo.<\/p>\n El sistema de asignaci\u00f3n de trabajo lo llevaba a cabo el mencionado Frank a trav\u00e9s de las conductas previas del trabajador. El repartidor eleg\u00eda de entre todas las franjas horarias existentes, un lapso concreto en el que llevar a cabo su prestaci\u00f3n de servicios; si finalmente no pod\u00eda o no quer\u00eda trabajar en ese horario reservado, pod\u00eda negarse, pero este rechazo conllevaba que la pr\u00f3xima vez que\u00a0 accediera a la plataforma tendr\u00eda menos probabilidades de elegir el horario en el que prestar sus servicios, porque el algoritmo otorgaba preferencia a los empleados que no hab\u00edan cambiado de opini\u00f3n en la reserva horaria. \u00a0Pero, y aqu\u00ed es donde surge el conflicto, el sistema no distingu\u00eda entre la raz\u00f3n del rechazo del repartidor, tratando por igual a todas las causas con la consiguiente lesi\u00f3n que para los derechos de los trabajadores esto implica (Sentencia del Tribunal de Bolonia de 31 de diciembre de 2020, 2949\/20).<\/p>\n Otro ejemplo, esta vez en Espa\u00f1a. La Sentencia de la Audiencia Nacional de 10 de mayo de 2021 (ECLI: ES: AN: 2021: 1855), aunque obiter dicta<\/em>, detecta indiscriminaci\u00f3n indirecta en el sistema (de nuevo un algoritmo) de control de la jornada. Ese algoritmo exig\u00eda del trabajador el estar continuamente conectado y solo pod\u00eda realizar las pausas cuando la empresa las ten\u00eda programadas o, en su defecto, durante el descanso de bocadillo. Esta pr\u00e1ctica, aparentemente neutra, causa discriminaci\u00f3n para las personas de mayor edad que se ven obligadas a realizar m\u00e1s pausas fisiol\u00f3gicas que los m\u00e1s j\u00f3venes.<\/p>\n Otro ejemplo de lo que aqu\u00ed estamos compartiendo viene de Amazon. Esta empresa dise\u00f1\u00f3 -en el a\u00f1o 2014- un software <\/em>para llevar a cabo un proceso de selecci\u00f3n de personal y cubrir el puesto de t\u00e9cnico. El algoritmo fue entrenado con base a los perfiles que ten\u00edan los actuales trabajadores que ostentaban el puesto de trabajo antes mencionado y aprendi\u00f3 a descartar a las mujeres, porque tradicionalmente esta categor\u00eda era desempe\u00f1ada por varones. El sistema era muy sutil; detectaba que el curr\u00edculum era de una mujer no solo porque as\u00ed se expresara expl\u00edcitamente, sino tambi\u00e9n porque infer\u00eda esa conclusi\u00f3n del uso de vocablos femeninos en esa hoja de vida laboral. El algoritmo no pudo ser reparado y, en 2017, fue eliminado. Al parecer, Amazon cuenta hoy en d\u00eda con un sistema algor\u00edtmico de selecci\u00f3n, aun cuando se desconoce c\u00f3mo funciona este.<\/p>\n El \u00faltimo supuesto nos es facilitado por la profesora Gin\u00e8s quien nos recuerda c\u00f3mo una empresa (Gild) que elabora perfiles para empresas tecnol\u00f3gicas valoraba no solo el curr\u00edculum del candidato, sino tambi\u00e9n si se integrar\u00eda en la comunidad digital. Para ello utiliza un algoritmo que infiere que las personas con fuertes habilidades de programaci\u00f3n acceden con frecuencia a una determinada p\u00e1gina Web<\/em> de manga. El algoritmo es discriminatorio por cuanto, como norma general, los c\u00f3mic-manga suelen ser visitados por personas del sexo masculino, lo que supon\u00eda el descarte de las mujeres.<\/p>\n Con todo lo que hasta aqu\u00ed llevamos compartido no es intenci\u00f3n de quien redacta el presente el que lleguemos a la conclusi\u00f3n de que los algoritmos no nos pueden dispensar ayuda a los humanos. De hecho, y a pesar del debate suscitado acerca de la propiedad intelectual y eventual derecho a conocer la caja negra del algoritmo, el empleo de algoritmos puede ser muy \u00fatil en las diferentes fases de la vida contractual laboral. Y, en este sentido, es de valorar la relativa una nueva previsi\u00f3n en el art.64.4 del Estatuto de los Trabajadores (Real Decreto Legislativo 2\/2015, de 23 de octubre) \u00a0que dota de mayor transparencia a los sistemas algor\u00edtmicos, garantizando que \u201cel algoritmo nunca podr\u00e1 ser tu jefe\u201d (como enuncia Molina Navarrete) lo que se traduce en la necesidad de que siempre haya un humano al mando para que pueda tomar decisiones que entra\u00f1en juicios de valor.<\/p>\n Y, como se ha venido comentando aqu\u00ed en relaci\u00f3n a otras causas discriminatorias,\u00a0 si queremos que los algoritmos sean respetuosos -en lo que a nosotros nos ata\u00f1e con relaci\u00f3n al derecho a la no discriminaci\u00f3n- acaso ser\u00eda preciso que se dedicara mayor atenci\u00f3n a ello en la negociaci\u00f3n colectiva. A ello haya que sumarle la necesidad de que la Inspecci\u00f3n de Trabajo est\u00e9 especialmente alerta al problema concreto de la selecci\u00f3n de trabajadores, porque (y, en este punto acudimos a los estudios de la profesora Serrano Falc\u00f3n) en 2019 solo fueron 260 las actuaciones de Inspecci\u00f3n de Trabajo enfocadas en esta fase precontractual. Se\u00f1alar tambi\u00e9n la conveniencia de abordar este tema desde una perspectiva multidisciplinar, que no se agota con (a pesar de su innegable relevancia) la intervenci\u00f3n de los t\u00e9cnicos inform\u00e1ticos.<\/p>\n Situados en plena Edad Tecnol\u00f3gica si no garantizamos el universal acceso a las redes de toda la poblaci\u00f3n, nos encontraremos ante un serio problema que hoy ya se vislumbra: la exclusi\u00f3n de sujetos a los que no se tendr\u00e1 en consideraci\u00f3n porque el sistema algor\u00edtimico no tendr\u00e1 los datos de los que nutrirse y, por tanto, no podr\u00e1 responder a sus necesidades.<\/p>\n *************************************<\/p>\n El presente texto se enmarca dentro del Proyecto de Investigaci\u00f3n (US-1264479) denominado \u201cNuevas Causas y perfiles de discriminaci\u00f3n e instrumentos para la tutela discriminatoria en el nuevo contexto tecnol\u00f3gico social -financiado con Fondos Feder-; y m\u00e1s exactamente, es el resultado de la ponencia presentada por la autora, dentro del panel dedicado a \u201cRevoluci\u00f3n Tecnol\u00f3gica y Discriminaci\u00f3n\u201d celebrado en Sevilla los d\u00edas 16 y 17 de marzo de 2022 y organizado por dicho Proyecto<\/p>\n