Imagen. / MIT

No es ningún secreto que las personas albergan prejuicios, algunos inconscientes, tal vez, y otros dolorosamente manifiestos. La persona promedio podría suponer que las computadoras, máquinas típicamente hechas de plástico, acero, vidrio, silicio y varios metales, están libres de prejuicios. Si bien esa suposición puede ser válida para el hardware de la computadora, no siempre es cierto para el software de la computadora, que está programado por humanos falibles y puede recibir datos que, en sí mismos, están comprometidos en ciertos aspectos.

Los sistemas de inteligencia artificial (IA), en particular los basados ​​en el aprendizaje automático, se están utilizando cada vez más en la medicina para diagnosticar enfermedades específicas, por ejemplo, o evaluar radiografías. También se confía en estos sistemas para respaldar la toma de decisiones en otras áreas de la atención de la salud. Sin embargo, investigaciones recientes han demostrado que los modelos de aprendizaje automático pueden codificar sesgos contra los subgrupos minoritarios y, en consecuencia, las recomendaciones que hacen pueden reflejar esos mismos sesgos.

Un nuevo estudio realizado por investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT y la Clínica Jameel del MIT, que se publicó el mes pasado en Communications Medicine, evalúa el impacto que pueden tener los modelos de IA discriminatorios, especialmente para los sistemas que están destinados a brindar asesoramiento en situaciones urgentes. “Descubrimos que la forma en que se enmarca el consejo puede tener repercusiones significativas”, explica el autor principal del artículo, Hammaad Adam, estudiante de doctorado en el Instituto de Sistemas de Datos y Sociedad del MIT. “Afortunadamente, el daño causado por modelos sesgados puede ser limitado (aunque no necesariamente eliminado) cuando el consejo se presenta de una manera diferente”. Los otros coautores del artículo son Aparna Balagopalan y Emily Alsentzer, ambas estudiantes de doctorado, y los profesores Fotini Christia y Marzyeh Ghassemi.

Los modelos de IA utilizados en medicina pueden sufrir imprecisiones e inconsistencias, en parte porque los datos utilizados para entrenar los modelos a menudo no son representativos de la configuración del mundo real. Diferentes tipos de máquinas de rayos X, por ejemplo, pueden registrar cosas de manera diferente y, por lo tanto, producir resultados diferentes. Además, los modelos entrenados predominantemente en personas blancas pueden no ser tan precisos cuando se aplican a otros grupos. El documento de Medicina de las comunicaciones no se centra en cuestiones de ese tipo, sino que aborda problemas que se derivan de los sesgos y las formas de mitigar las consecuencias adversas.

Un grupo de 954 personas (438 médicos y 516 no expertos) participó en un experimento para ver cómo los sesgos de la IA pueden afectar la toma de decisiones. A los participantes se les presentaron resúmenes de llamadas de una línea directa de crisis ficticia, cada uno de los cuales involucraba a un individuo masculino que atravesaba una emergencia de salud mental. Los resúmenes contenían información sobre si el individuo era caucásico o afroamericano y también mencionaría su religión si fuera musulmán. Un resumen de llamada típico podría describir una circunstancia en la que un hombre afroamericano fue encontrado en su casa en un estado delirante, lo que indica que “no ha consumido drogas ni alcohol, ya que es musulmán practicante”. A los participantes del estudio se les indicó que llamaran a la policía si pensaban que era probable que el paciente se volviera violento; de lo contrario, se les animaba a buscar ayuda médica.

Los participantes se dividieron al azar en un grupo de control o "línea de base" más otros cuatro grupos diseñados para evaluar las respuestas en condiciones ligeramente diferentes. “Queremos entender cómo los modelos sesgados pueden influir en las decisiones, pero primero debemos entender cómo los sesgos humanos pueden afectar el proceso de toma de decisiones”, señala Adam. Lo que encontraron en su análisis del grupo de referencia fue bastante sorprendente: “En el entorno que consideramos, los participantes humanos no exhibieron ningún sesgo. Eso no significa que los humanos no tengan prejuicios, pero la forma en que transmitimos información sobre la raza y la religión de una persona, evidentemente, no fue lo suficientemente fuerte como para provocar sus prejuicios”.

Los otros cuatro grupos en el experimento recibieron consejos que provenían de un modelo sesgado o imparcial, y esos consejos se presentaron en forma "prescriptiva" o "descriptiva". Es más probable que un modelo sesgado recomiende la ayuda de la policía en una situación que involucre a una persona afroamericana o musulmana que un modelo imparcial. Los participantes en el estudio, sin embargo, no sabían de qué tipo de modelo provenía su consejo, o incluso que los modelos que brindan el consejo podrían estar sesgados en absoluto. Los consejos prescriptivos explican lo que debe hacer un participante en términos inequívocos, diciéndoles que deben llamar a la policía en un caso o buscar ayuda médica en otro. El consejo descriptivo es menos directo: se muestra una bandera para mostrar que el sistema de IA percibe un riesgo de violencia asociado con una llamada en particular;  

Una conclusión clave del experimento es que los participantes "fueron muy influenciados por las recomendaciones prescriptivas de un sistema de IA sesgado", escribieron los autores. Pero también descubrieron que "el uso de recomendaciones descriptivas en lugar de prescriptivas permitió a los participantes conservar su toma de decisiones original e imparcial". En otras palabras, el sesgo incorporado dentro de un modelo de IA puede disminuirse enmarcando adecuadamente el consejo que se brinda. ¿Por qué los diferentes resultados, dependiendo de cómo se plantee el consejo? Cuando a alguien se le dice que haga algo, como llamar a la policía, eso deja poco lugar a dudas, explica Adam. Sin embargo, cuando la situación se limita a describir —clasificar con o sin la presencia de una bandera— “eso deja espacio para la propia interpretación de un participante; les permite ser más flexibles y considerar la situación por sí mismos”.

En segundo lugar, los investigadores descubrieron que los modelos de lenguaje que normalmente se utilizan para ofrecer consejos son fáciles de sesgar. Los modelos de lenguaje representan una clase de sistemas de aprendizaje automático que se entrenan en texto, como el contenido completo de Wikipedia y otro material web. Cuando estos modelos se "afinan" basándose en un subconjunto de datos mucho más pequeño con fines de capacitación (solo 2000 oraciones, en lugar de 8 millones de páginas web), los modelos resultantes pueden sesgarse fácilmente.  

En tercer lugar, el equipo del MIT descubrió que los tomadores de decisiones que son imparciales aún pueden ser engañados por las recomendaciones proporcionadas por modelos sesgados. La formación médica (o la falta de ella) no cambió las respuestas de forma perceptible. “Los médicos se vieron influenciados por modelos sesgados tanto como los no expertos”, afirmaron los autores.

“Estos hallazgos podrían aplicarse a otros entornos”, dice Adam, y no están necesariamente restringidos a situaciones de atención médica. Cuando se trata de decidir qué personas deberían recibir una entrevista de trabajo, es más probable que un modelo sesgado rechace a los solicitantes negros. Sin embargo, los resultados podrían ser diferentes si en lugar de decirle explícitamente (y prescriptivamente) a un empleador que “rechace a este solicitante”, se adjunta una bandera descriptiva al expediente para indicar la “posible falta de experiencia” del solicitante.

Las implicaciones de este trabajo son más amplias que simplemente descubrir cómo tratar a las personas en medio de crisis de salud mental, sostiene Adam. “Nuestro objetivo final es asegurarnos de que los modelos de aprendizaje automático se utilicen de manera justa, segura y sólida”.

Autor

MIT

Promover la investigación, las innovaciones, la enseñanza y los eventos y las personas de interés periodístico del MIT a la comunidad del campus, los medios de comunicación y el público en general, Comunicar anuncios del Instituto, Publicar noticias de la comunidad para profesores, estudiantes, personal y ex alumnos del MIT. Proporcionar servicios de medios a los miembros de la comunidad, incluido el asesoramiento sobre cómo trabajar con periodistas, Responder a consultas de los medios y solicitudes de entrevistas...