Noticias Actualidad en procesos industriales

Dele visibilidad a su trayectoria académica

Participe en la convocatoria de trabajos inéditos de Virtual Pro.

Publicar Ahora

2022-12-02Modelos de lenguaje grande ayudan a descifrar notas clínicas

MIT |Los investigadores utilizaron un poderoso modelo de aprendizaje profundo para extraer datos importantes de los registros de salud electrónicos que podrían ayudar con la medicina personalizada.

Los registros de salud electrónicos (EHR, por sus siglas en inglés) necesitan un nuevo gerente de relaciones públicas. Hace diez años, el gobierno de los EE. UU. aprobó una ley que fomentaba encarecidamente la adopción de registros de salud electrónicos con la intención de mejorar y agilizar la atención. La enorme cantidad de información en estos registros ahora digitales podría usarse para responder preguntas muy específicas más allá del alcance de los ensayos clínicos: ¿Cuál es la dosis correcta de este medicamento para pacientes con esta altura y peso? ¿Qué pasa con los pacientes con un perfil genómico específico?

Desafortunadamente, la mayoría de los datos que podrían responder estas preguntas están atrapados en las notas del médico, llenas de jerga y abreviaturas. Estas notas son difíciles de entender para las computadoras utilizando las técnicas actuales: extraer información requiere entrenar múltiples modelos de aprendizaje automático. Los modelos entrenados para un hospital tampoco funcionan bien en otros, y entrenar cada modelo requiere expertos en el dominio para etiquetar una gran cantidad de datos, un proceso costoso y que requiere mucho tiempo. 

Un sistema ideal usaría un solo modelo que puede extraer muchos tipos de información, funcionar bien en múltiples hospitales y aprender de una pequeña cantidad de datos etiquetados. ¿Pero cómo? Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT dirigidos por Monica Agrawal, candidata a doctorado en ingeniería eléctrica e informática, creían que para desentrañar los datos, necesitaban recurrir a algo más grande: grandes modelos de lenguaje. Para obtener esa información médica importante, utilizaron un modelo de estilo GPT-3 muy grande para realizar tareas como ampliar la jerga y los acrónimos sobrecargados y extraer regímenes de medicamentos. 

Por ejemplo, el sistema toma una entrada, que en este caso es una nota clínica, "incita" al modelo con una pregunta sobre la nota, como "expanda esta abreviatura, CTA". El sistema devuelve un resultado como "claro para la auscultación", en lugar de, por ejemplo, una angiografía por TC. El objetivo de extraer estos datos limpios, dice el equipo, es eventualmente permitir recomendaciones clínicas más personalizadas. 

Los datos médicos son, comprensiblemente, un recurso bastante complicado para navegar libremente. Hay muchos trámites burocráticos en torno al uso de recursos públicos para probar el rendimiento de modelos grandes debido a las restricciones de uso de datos, por lo que el equipo decidió juntar los suyos. Usando un conjunto de fragmentos clínicos breves disponibles públicamente, improvisaron un pequeño conjunto de datos para permitir la evaluación del rendimiento de extracción de grandes modelos de lenguaje. 

“Es un desafío desarrollar un único sistema de procesamiento de lenguaje natural clínico de uso general que resuelva las necesidades de todos y sea sólido frente a la enorme variación observada en los conjuntos de datos de salud. Como resultado, hasta el día de hoy, la mayoría de las notas clínicas no se utilizan en análisis posteriores o para apoyar decisiones en vivo en registros de salud electrónicos. Estos enfoques de grandes modelos de lenguaje podrían potencialmente transformar el procesamiento clínico del lenguaje natural”, dice David Sontag, profesor de ingeniería eléctrica y ciencias de la computación del MIT, investigador principal en CSAIL y el Instituto de Ingeniería y Ciencias Médicas, y autor supervisor de un artículo sobre el trabajo, que será presentado en la Conferencia sobre Métodos Empíricos en el Procesamiento del Lenguaje Natural. “Los avances del equipo de investigación en la extracción de información clínica de disparo cero hacen posible el escalado. Incluso si tiene cientos de casos de uso diferentes, no hay problema: puede construir cada modelo con unos minutos de trabajo, en lugar de tener que etiquetar una tonelada de datos para esa tarea en particular”.

Por ejemplo, sin ningún tipo de etiquetas, los investigadores descubrieron que estos modelos podían lograr un 86% de precisión en la expansión de acrónimos sobrecargados, y el equipo desarrolló métodos adicionales para aumentar esto aún más hasta un 90% de precisión, sin necesidad de etiquetas.

Encarcelado en un EHR 

Los expertos han estado construyendo constantemente modelos de lenguaje extenso (LLM, por sus siglas en inglés) durante bastante tiempo, pero irrumpieron en la corriente principal con la capacidad ampliamente cubierta de GPT-3 para completar oraciones. Estos LLM están capacitados en una gran cantidad de texto de Internet para terminar oraciones y predecir la siguiente palabra más probable. 

Si bien los modelos anteriores más pequeños, como las iteraciones anteriores de GPT o BERT, han logrado un buen rendimiento para extraer datos médicos, aún requieren un esfuerzo considerable de etiquetado manual de datos. 

Por ejemplo, una nota, "el pt va a ceder vanco debido a n/v" significa que este paciente (pt) estaba tomando el antibiótico vancomicina (vanco) pero experimentó náuseas y vómitos (n/v) lo suficientemente graves como para que el equipo de atención suspendiera el tratamiento. (c) el medicamento. La investigación del equipo evita el statu quo de entrenar modelos de aprendizaje automático separados para cada tarea (extraer medicamentos, efectos secundarios del registro, desambiguar abreviaturas comunes, etc.). Además de expandir las abreviaturas, investigaron otras cuatro tareas, incluso si los modelos podían analizar ensayos clínicos y extraer regímenes de medicamentos ricos en detalles.  

“El trabajo anterior ha demostrado que estos modelos son sensibles a la redacción precisa del aviso. Parte de nuestra contribución técnica es una forma de formatear el indicador para que el modelo le brinde resultados en el formato correcto”, dice Hunter Lang, estudiante de doctorado de CSAIL y autor del artículo. “Para estos problemas de extracción, existen espacios de salida estructurados. El espacio de salida no es solo una cadena. Puede ser una lista. Puede ser una cita de la entrada original. Así que hay más estructura que solo texto libre. Parte de nuestra contribución a la investigación es animar al modelo a proporcionarle una salida con la estructura correcta. Eso reduce significativamente el tiempo de posprocesamiento”.

El enfoque no se puede aplicar a los datos de salud listos para usar en un hospital: eso requiere enviar información privada del paciente a través de Internet abierto a un proveedor de LLM como OpenAI. Los autores demostraron que es posible solucionar esto destilando el modelo en uno más pequeño que podría usarse en el sitio.

El modelo, a veces como los humanos, no siempre está en deuda con la verdad. Así es como podría verse un problema potencial: Supongamos que está preguntando la razón por la cual alguien tomó medicamentos. Sin las medidas de seguridad y los controles adecuados, el modelo podría mostrar la razón más común para ese medicamento, si no se menciona nada explícitamente en la nota. Esto condujo a los esfuerzos del equipo para obligar al modelo a extraer más citas de los datos y menos texto libre.

El trabajo futuro del equipo incluye extenderse a otros idiomas además del inglés, crear métodos adicionales para cuantificar la incertidumbre en el modelo y obtener resultados similares con modelos de código abierto. 

“La información clínica enterrada en notas clínicas no estructuradas tiene desafíos únicos en comparación con el texto de dominio general, principalmente debido al gran uso de acrónimos y patrones textuales inconsistentes utilizados en diferentes centros de atención médica”, dice Sadid Hasan, líder de AI en Microsoft y ex director ejecutivo de AI. en CVS Health, que no participó en la investigación. “Con este fin, este trabajo establece un paradigma interesante para aprovechar el poder de los modelos de lenguaje grande de dominio general para varias tareas clínicas importantes de PNL de cero/pocos disparos. Específicamente, el diseño rápido guiado propuesto de LLM para generar resultados más estructurados podría conducir a un mayor desarrollo de modelos desplegables más pequeños mediante la utilización iterativa de las pseudoetiquetas generadas por el modelo”.

“La IA se ha acelerado en los últimos cinco años hasta el punto en que estos grandes modelos pueden predecir recomendaciones contextualizadas con beneficios que se extienden a través de una variedad de dominios, como sugerir nuevas formulaciones de medicamentos, comprender textos no estructurados, codificar recomendaciones o crear obras de arte inspiradas en cualquier cantidad de artistas o estilos humanos”, dice Parminder Bhatia, quien anteriormente fue directora de aprendizaje automático en AWS Health AI y actualmente es directora de ML para aplicaciones de código bajo que aprovechan grandes modelos de lenguaje en AWS AI Labs. “Una de las aplicaciones de estos grandes modelos [que el equipo ha] lanzado recientemente es Amazon CodeWhisperer, que es [un] compañero de codificación impulsado por ML que ayuda a los desarrolladores a crear aplicaciones”.

Como parte de la Clínica MIT Abdul Latif Jameel para el aprendizaje automático en salud, Agrawal, Sontag y Lang escribieron el artículo junto con Yoon Kim, profesor asistente del MIT e investigador principal de CSAIL, y Stefan Hegselmann, estudiante de doctorado visitante de la Universidad de Muenster. La investigación del primer autor Agrawal fue apoyada por una beca Takeda, el Centro Deshpande para la Innovación Tecnológica del MIT y las iniciativas MLA@CSAIL.

MIT
Autor
MIT

Promover la investigación, las innovaciones, la enseñanza y los eventos y las personas de interés periodístico del MIT a la comunidad del campus, los medios de comunicación y el público en general, Comunicar anuncios del Instituto, Publicar noticias de la comunidad para profesores, estudiantes, personal y ex alumnos del MIT. Proporcionar servicios de medios a los miembros de la comunidad, incluido el asesoramiento sobre cómo trabajar con periodistas, Responder a consultas de los medios y solicitudes de entrevistas...


2023-02-03
El sector tecnológico está despidiendo en masa: OpenAI está haciendo todo lo contrario, según Semafor

La ola de despidos en las grandes tecnológicas es un problema de alcance global. Amazon, Google, HP, IBM, Meta, Microsoft, Spotify, Salesforce, Philips. La lista de las compañías afectadas por esta tendencia es enorme. Sin embargo, hay algunas excepciones. Entre ellas destacan las estadounidenses Apple y OpenAI.

2023-02-03
La tragedia de la talidomida detonó la farmacovigilancia

Las reacciones adversas a medicamentos (RAM) no son algo nuevo en la historia de la humanidad. El ejemplo más claro de efecto no deseado de un fármaco es, sin duda, la tragedia causada por la talidomida.

2023-02-03
Todo lo que necesitas saber sobre el futuro de la computación y los sistemas neuromórficos

La computación ha vivido pequeñas grandes revoluciones en muy poco tiempo. Por un lado, sus componentes se han ido miniaturizando hasta lograr que hoy tengamos en nuestras manos smartphones mucho más potentes que los antiguos ordenadores que ocupaban habitaciones enteras. Y, por otro lado, la capacidad de esos dispositivos hace posible que podamos recrear mundos virtuales, crear réplicas de nosotros mismos o encontrar soluciones a grandes problemas. Y para seguir avanzando, los investigadores apuestan por la computación neuromórfica o sistemas neuromórficos.

2023-02-02
Debate científico sobre las causas del cambio climático

En 1974, los científicos Frank Sherwood Rowland y Mario Molina dieron a conocer que los gases clorofluorcarbonados utilizados en refrigeradores, aires acondicionados, aerosoles y spray de laca, entre otros productos, se dispersan en la estratosfera expulsando una alta condensación de átomos de cloro que degradan la capa de ozono que nos protege de los rayos ultravioleta emitidos por el sol. Posterior a esto, un alto representante de DuPont, una de las más reconocidas industrias químicas a nivel mundial, estimó que la investigación era un “cuento de ciencia ficción”, un “montón de basura” y una “absoluta idiotez”. Sin embargo, en 1987, bajo el Protocolo de Montreal, se establecieron las medidas necesarias para controlar y disminuir poco a poco hasta eliminar el uso de cerca de 100 componentes químicos que afectan sustancialmente la capa de ozono.

2023-02-02
Un nuevo sistema de reciclaje de carbono permitiría reducir las emisiones de la industria siderúrgica en un 90 %

Investigadores de la Universidad de Birmingham proponen un método para adaptar los hornos actuales que permitiría sustituir el 90 % del coque utilizado habitualmente por este sector.

2023-02-02
El Instituto de Óptica del CSIC convoca la sexta edición de los Premios FOTÓN, dirigidos a comunicadores y docentes

Los galardones reconocen la divulgación de la óptica y la fotónica en medios de comunicación y centros educativos.