El pasado 4 de marzo, nuestro compañero Jesús Moreno León exploró el funcionamiento de los Modelos Extensos de Lenguaje (LLMs), ofreciendo una explicación accesible y sencilla sobre esta tecnología en un seminario al que asistieron alrededor de 40 personas, incluyendo docentes, investigadores, estudiantes de doctorado, de grado y de formación profesional.
Durante la sesión, se explicó cómo los LLMs utilizan embeddings, representaciones numéricas de palabras, para captar significados y relaciones semánticas. A través de ejemplos prácticos, como la ubicación de palabras en un espacio vectorial, se mostró cómo estos modelos pueden entender y conectar conceptos de manera efectiva.
Un aspecto crucial de los LLMs abordado durante el seminario fue el uso de mecanismos de atención, destacados en el influyente artículo Attention Is All You Need. Estos mecanismos permiten a los modelos enfocarse en partes relevantes del texto, mejorando su capacidad para generar respuestas coherentes y contextualmente apropiadas.
Así mismo, se detallaron los enfoques utilizados en las etapas de pre-entrenamiento y post-entrenamiento, discutiendo aspectos relacionados con el aprendizaje autosupervisado, el ajuste fino y el aprendizaje por refuerzo. También se analizaron las principales limitaciones de estos sistemas y las estrategias para mejorar su rendimiento en inferencia, como el uso de herramientas externas, el aumento de la ventana de contexto o la generación aumentada por recuperación.
Finalmente, se discutió el impacto de los LLMs en el desarrollo de software, destacando cómo estas herramientas ayudan a los profesionales del sector a escribir código de manera más rápida y productiva. Sin embargo, también se presentaron investigaciones e informes que subrayan su impacto negativo sobre la mantenibilidad del código creado con asistencia de IA.
El objetivo del seminario fue ofrecer una visión integral de cómo funcionan los LLMs, y, por las reacciones y la participación de los asistentes, parece que se logró con éxito.
Enlaces a los cuadernos Jupyter con las demostraciones:
· Embeddings: https://colab.research.google.com/drive/1_41NBx6Qk0HA6YZ4AqMoUbeP0Zg5Du1R?usp=sharing
· Generación de texto autorregresiva: https://colab.research.google.com/drive/1_eluzFzJAANEoPQeanuT6YD1iEcR7_aI?usp=sharing
Presentación utilizada durante el seminario: