¿Deberías coger el paraguas antes de salir por la puerta? Consultar el pronóstico del tiempo de antemano solo será útil si el pronóstico es preciso.

Los problemas de predicción espacial, como la previsión meteorológica o la estimación de la contaminación del aire, implican predecir el valor de una variable en una nueva ubicación basándose en valores conocidos en otras ubicaciones. Los científicos suelen utilizar métodos de validación probados y comprobados para determinar en qué medida se puede confiar en estas predicciones.

Pero los investigadores del MIT han demostrado que estos métodos de validación populares pueden fallar bastante en las tareas de predicción espacial. Esto podría llevar a alguien a creer que un pronóstico es preciso o que un nuevo método de predicción es eficaz, cuando en realidad no es así.

Los investigadores desarrollaron una técnica para evaluar los métodos de predicción y validación y la utilizaron para demostrar que dos métodos clásicos pueden ser sustancialmente erróneos en problemas espaciales. Luego determinaron por qué estos métodos pueden fallar y crearon un nuevo método diseñado para manejar los tipos de datos utilizados para las predicciones espaciales.

En experimentos con datos reales y simulados, su nuevo método proporcionó validaciones más precisas que las dos técnicas más comunes. Los investigadores evaluaron cada método utilizando problemas espaciales realistas, incluida la predicción de la velocidad del viento en el aeropuerto O-Hare de Chicago y la previsión de la temperatura del aire en cinco ubicaciones metropolitanas de Estados Unidos.

Su método de validación podría aplicarse a una variedad de problemas, desde ayudar a los científicos del clima a predecir las temperaturas de la superficie del mar hasta ayudar a los epidemiólogos a estimar los efectos de la contaminación del aire en ciertas enfermedades.

"Esperamos que esto conduzca a evaluaciones más confiables cuando las personas estén ideando nuevos métodos predictivos y a una mejor comprensión de qué tan bien funcionan los métodos", dice Tamara Broderick, profesora asociada en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT, miembro del Laboratorio de Información y Sistemas de Decisión y del Instituto de Datos, Sistemas y Sociedad, y afiliada del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL).

Broderick colabora en el artículo con el autor principal y posdoctorado del MIT David R. Burt y el estudiante de posgrado en Ingeniería Eléctrica y Computación Yunyi Shen. La investigación se presentará en la Conferencia Internacional sobre Inteligencia Artificial y Estadística.

Evaluación de validaciones

El grupo de Broderick ha colaborado recientemente con oceanógrafos y científicos atmosféricos para desarrollar modelos de predicción de aprendizaje automático que puedan utilizarse para problemas con un fuerte componente espacial.

A través de este trabajo, observaron que los métodos de validación tradicionales pueden ser imprecisos en entornos espaciales. Estos métodos contienen una pequeña cantidad de datos de entrenamiento, llamados datos de validación, y los utilizan para evaluar la precisión del predictor.

Para encontrar la raíz del problema, realizaron un análisis exhaustivo y determinaron que los métodos tradicionales hacen suposiciones que no son apropiadas para los datos espaciales. Los métodos de evaluación se basan en suposiciones sobre cómo se relacionan los datos de validación y los datos que se quieren predecir, llamados datos de prueba.

Los métodos tradicionales suponen que los datos de validación y los datos de prueba son independientes y se distribuyen de forma idéntica, lo que implica que el valor de cualquier punto de datos no depende de los demás puntos de datos. Pero en una aplicación espacial, esto no suele ser así.

Por ejemplo, un científico puede utilizar datos de validación de los sensores de contaminación del aire de la EPA para probar la precisión de un método que predice la contaminación del aire en áreas de conservación. Sin embargo, los sensores de la EPA no son independientes: se ubicaron en función de la ubicación de otros sensores.

Además, es posible que los datos de validación provengan de sensores de la EPA ubicados cerca de ciudades, mientras que los sitios de conservación se encuentran en áreas rurales. Como estos datos provienen de diferentes ubicaciones, es probable que tengan diferentes propiedades estadísticas, por lo que no están distribuidos de manera idéntica.

“Nuestros experimentos demostraron que, cuando se rompen las suposiciones hechas por el método de validación, se obtienen algunas respuestas realmente erróneas en el caso espacial”, afirma Broderick.

Los investigadores necesitaban elaborar una nueva hipótesis.

Específicamente espacial

Pensando específicamente en un contexto espacial, donde los datos se recogen de diferentes ubicaciones, diseñaron un método que supone que los datos de validación y los datos de prueba varían suavemente en el espacio.

Por ejemplo, es poco probable que los niveles de contaminación del aire cambien drásticamente entre dos casas vecinas.

“Esta suposición de regularidad es apropiada para muchos procesos espaciales y nos permite crear una forma de evaluar los predictores espaciales en el dominio espacial. Hasta donde sabemos, nadie ha realizado una evaluación teórica sistemática de lo que salió mal para elaborar un enfoque mejor”, afirma Broderick.

Para utilizar su técnica de evaluación, uno debe ingresar su predictor, las ubicaciones que desea predecir y sus datos de validación, y luego automáticamente hace el resto. Al final, estima qué tan precisa será la predicción del predictor para la ubicación en cuestión. Sin embargo, evaluar eficazmente su técnica de validación resultó ser un desafío.

“No estamos evaluando un método, sino una evaluación. Por eso, tuvimos que dar un paso atrás, pensar con cuidado y ser creativos sobre los experimentos adecuados que podíamos utilizar”, explica Broderick.

En primer lugar, diseñaron varias pruebas utilizando datos simulados, que tenían aspectos poco realistas pero les permitieron controlar cuidadosamente los parámetros clave. Luego, crearon datos semisimulados más realistas modificando datos reales. Por último, utilizaron datos reales para varios experimentos.

El uso de tres tipos de datos de problemas realistas, como predecir el precio de un piso en Inglaterra en función de su ubicación y pronosticar la velocidad del viento, les permitió realizar una evaluación exhaustiva. En la mayoría de los experimentos, su técnica fue más precisa que cualquiera de los métodos tradicionales con los que la compararon.

En el futuro, los investigadores planean aplicar estas técnicas para mejorar la cuantificación de la incertidumbre en entornos espaciales. También quieren encontrar otras áreas en las que el supuesto de regularidad podría mejorar el rendimiento de los predictores, como con los datos de series temporales.

Esta investigación está financiada, en parte, por la Fundación Nacional de Ciencias y la Oficina de Investigación Naval.

Autor