La predicción precisa de la concentración de PM, un asunto de suma importancia en la ciencia ambiental y la salud pública, ha seguido siendo un desafío considerable. Las metodologías convencionales para predecir la concentración de PM a menudo luchan por capturar las dinámicas complejas y las relaciones no lineales inherentes a los datos meteorológicos de múltiples estaciones. Para abordar este problema, hemos ideado un nuevo modelo de aprendizaje profundo, llamado el Transformador de Autoencoding Escaso Meteorológico (MSAFormer). El MSAFormer aprovecha las fortalezas de la arquitectura Transformer, incorporando de manera efectiva un módulo de Autoencoding Escaso Meteorológico, un Módulo de Embedding Posicional Meteorológico y un Módulo de Predicción de PM. El Módulo de Autoencoding Escaso sirve para extraer características salientes de datos meteorológicos de alta dimensión y múltiples estaciones. Posteriormente, el Módulo de Embedding Posicional aplica una Red Neuronal Convolucional unidimensional para aplanar las características codificadas de manera escasa, facilitando el procesamiento de datos en el siguiente módulo Transformer. Finalmente, el Módulo de Predicción de PM utiliza un mecanismo de autoatención para manejar las dependencias temporales en los datos de entrada, prediciendo las concentraciones futuras de PM. Los resultados experimentales subrayan que el modelo MSAFormer logra una mejora significativa en la predicción de concentraciones de PM en el distrito de Haidian en comparación con los métodos tradicionales. Esta investigación ofrece una nueva herramienta predictiva para el campo de la ciencia ambiental y ilustra el potencial del aprendizaje profundo en el análisis de datos meteorológicos ambientales.