Las investigaciones han demostrado que los modelos de lenguaje grandes (LLM) tienden a enfatizar demasiado la información al principio y al final de un documento o conversación, mientras que descuidan la parte media.

Este “sesgo de posición” significa que, si un abogado usa un asistente virtual con tecnología LLM para recuperar una determinada frase en una declaración jurada de 30 páginas, es más probable que el LLM encuentre el texto correcto si está en las páginas iniciales o finales.

Investigadores del MIT han descubierto el mecanismo detrás de este fenómeno.

Crearon un marco teórico para estudiar cómo fluye la información a través de la arquitectura de aprendizaje automático que constituye la base de los LLM. Descubrieron que ciertas decisiones de diseño que controlan cómo el modelo procesa los datos de entrada pueden causar sesgo de posición.

Sus experimentos revelaron que las arquitecturas de modelos, particularmente aquellas que afectan cómo se distribuye la información entre las palabras de entrada dentro del modelo, pueden generar o intensificar el sesgo de posición, y que los datos de entrenamiento también contribuyen al problema.

Además de señalar los orígenes del sesgo de posición, su marco se puede utilizar para diagnosticarlo y corregirlo en futuros diseños de modelos.

Esto podría conducir a chatbots más confiables que se mantengan en el tema durante largas conversaciones, sistemas de inteligencia artificial médica que razonen de manera más justa al manejar una gran cantidad de datos de pacientes y asistentes de código que presten más atención a todas las partes de un programa.

“Estos modelos son cajas negras, así que, como usuario de un Máster en Derecho (LLM), probablemente desconozca que el sesgo de posición puede provocar inconsistencias en su modelo. Simplemente le introduce sus documentos en el orden que desee y espera que funcione. Pero al comprender mejor el mecanismo subyacente de estos modelos de caja negra, podemos mejorarlos abordando estas limitaciones”, afirma Xinyi Wu, estudiante de posgrado del Instituto de Datos, Sistemas y Sociedad (IDSS) del MIT y del Laboratorio de Sistemas de Información y Decisión (LIDS), y primera autora de un artículo sobre esta investigación.

Entre sus coautores se encuentran Yifei Wang, investigadora posdoctoral del MIT; y las autoras principales Stefanie Jegelka, profesora asociada de Ingeniería Eléctrica e Informática (EECS) y miembro del IDSS y del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL); y Ali Jadbabaie, profesor y director del Departamento de Ingeniería Civil y Ambiental, miembro del cuerpo docente del IDSS e investigador principal del LIDS. La investigación se presentará en la Conferencia Internacional sobre Aprendizaje Automático.

Analizando la atención

Los LLM como Claude, Llama y GPT-4 se basan en una arquitectura de red neuronal conocida como transformador. Los transformadores están diseñados para procesar datos secuenciales, codificando una oración en fragmentos llamados tokens y luego aprendiendo las relaciones entre estos tokens para predecir qué palabras vienen a continuación.

Estos modelos se han vuelto muy buenos en esto debido al mecanismo de atención, que utiliza capas interconectadas de nodos de procesamiento de datos para dar sentido al contexto al permitir que los tokens se concentren selectivamente o presten atención a tokens relacionados.

Pero si cada token puede atender a todos los demás tokens en un documento de 30 páginas, esto se vuelve rápidamente inviable desde el punto de vista computacional. Por lo tanto, cuando los ingenieros construyen modelos de transformadores, suelen emplear técnicas de enmascaramiento de atención que limitan las palabras a las que un token puede atender.

Por ejemplo, una máscara causal sólo permite que las palabras presten atención a aquellas que las precedieron.

Los ingenieros también utilizan codificaciones posicionales para ayudar al modelo a comprender la ubicación de cada palabra en una oración, mejorando el rendimiento.

Los investigadores del MIT construyeron un marco teórico basado en gráficos para explorar cómo estas elecciones de modelos, máscaras de atención y codificaciones posicionales, podrían afectar el sesgo de posición.

Todo está acoplado y entrelazado dentro del mecanismo de atención, por lo que es muy difícil de estudiar. Los grafos son un lenguaje flexible para describir la relación de dependencia entre las palabras dentro del mecanismo de atención y rastrearlas a través de múltiples capas, afirma Wu.

Su análisis teórico sugirió que el enmascaramiento causal le da al modelo un sesgo inherente hacia el comienzo de una entrada, incluso cuando ese sesgo no existe en los datos.

Si las palabras anteriores son relativamente poco importantes para el significado de una oración, el enmascaramiento causal puede hacer que el transformador preste más atención a su comienzo de todos modos.

“Si bien suele ser cierto que las palabras anteriores y posteriores en una oración son más importantes, si se utiliza un LLM en una tarea que no es la generación de lenguaje natural, como la clasificación o la recuperación de información, estos sesgos pueden ser extremadamente perjudiciales”, afirma Wu.

A medida que un modelo crece, con capas adicionales de mecanismo de atención, este sesgo se amplifica porque las partes anteriores de la entrada se utilizan con mayor frecuencia en el proceso de razonamiento del modelo.

También descubrieron que el uso de codificaciones posicionales para vincular las palabras con mayor fuerza a palabras cercanas puede mitigar el sesgo de posición. La técnica reenfoca la atención del modelo en el punto correcto, pero su efecto puede diluirse en modelos con más capas de atención.

Y estas opciones de diseño son solo una de las causas del sesgo de posición: algunas pueden provenir de los datos de entrenamiento que el modelo utiliza para aprender a priorizar las palabras en una secuencia.

"Si sabes que tus datos están sesgados de cierta manera, entonces también deberías ajustar tu modelo además de ajustar tus opciones de modelado", dice Wu.

Perdido en el medio

Después de establecer un marco teórico, los investigadores realizaron experimentos en los que variaron sistemáticamente la posición de la respuesta correcta en secuencias de texto para una tarea de recuperación de información.

Los experimentos mostraron un fenómeno de "pérdida en el medio", donde la precisión de recuperación siguió un patrón en forma de U. Los modelos obtuvieron mejores resultados si la respuesta correcta se encontraba al principio de la secuencia. El rendimiento disminuyó a medida que se acercaba al medio, antes de recuperarse ligeramente si la respuesta correcta se encontraba cerca del final.

En última instancia, su trabajo sugiere que utilizar una técnica de enmascaramiento diferente, eliminar capas adicionales del mecanismo de atención o emplear estratégicamente codificaciones posicionales podría reducir el sesgo de posición y mejorar la precisión de un modelo.

Al combinar teoría y experimentos, pudimos analizar las consecuencias de decisiones de diseño de modelos que no estaban claras en aquel momento. Si se desea utilizar un modelo en aplicaciones de alto riesgo, es fundamental saber cuándo funcionará, cuándo no y por qué, afirma Jadbabaie.

En el futuro, los investigadores quieren explorar más a fondo los efectos de las codificaciones posicionales y estudiar cómo el sesgo de posición podría explotarse estratégicamente en ciertas aplicaciones.

Estos investigadores ofrecen una perspectiva teórica excepcional sobre el mecanismo de atención, en el corazón del modelo del transformador. Ofrecen un análisis convincente que aclara antiguas peculiaridades del comportamiento del transformador, demostrando que los mecanismos de atención, especialmente con máscaras causales, intrínsecamente sesgan los modelos hacia el inicio de las secuencias. El artículo logra lo mejor de ambos mundos: claridad matemática combinada con perspectivas que profundizan en los sistemas del mundo real, afirma Amin Saberi, profesor y director del Centro de Diseño de Mercados Computacionales de la Universidad de Stanford, quien no participó en este trabajo.

Esta investigación cuenta con el apoyo, en parte, de la Oficina de Investigación Naval de Estados Unidos, la Fundación Nacional de Ciencias y una Cátedra Alexander von Humboldt.

​Autor​