Red de Atención Residual Espacial-Espectral a Multi-Escala para la Clasificación de Imágenes Hiperespectrales
Autores: Wu, Qinggang; He, Mengkun; Liu, Zhongchi; Liu, Yanyan
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
Categoría
Ingeniería y Tecnología
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 17
Citaciones: Sin citaciones
Las imágenes hiperespectrales (HSIs) encapsulan una gran cantidad de información debido a su tamaño expansivo y alto número de dimensiones de canal. Sin embargo, no se utilizan suficientemente para la extracción de características ineficaz, especialmente en regiones con pocas muestras y bordes predominantes. Para aprovechar al máximo las características espaciales-espectrales de las HSIs, se propone una red de atención residual espacial-espectral multi-escala de doble rama (MSRAN) que integra la extracción de características multi-escala con mecanismos de atención residual. MSRAN extrae de forma independiente características espaciales y espectrales a través de ramas duales, minimizando la interferencia entre estas características y mejorando el enfoque en la extracción de características en diferentes dimensiones. Específicamente, en la rama de extracción de características espectrales, los núcleos de convolución 3D de diferentes escalas capturan características de secuencia espectral extendida y características espectrales de vecindario. La fusión de convolución enfatiza el peso del píxel central a clasificar, seguido por el uso de mecanismos de atención residual espectral para extraer características espectrales mejoradas del píxel central. En la rama de extracción de características espaciales, se utilizan campos receptivos de múltiples niveles para extraer varios contornos espaciales detallados finos, bordes y características locales detalladas, que se procesan adicionalmente a través de atención residual espacial para extraer efectivamente características compuestas espaciales. Finalmente, el módulo de fusión de convolución integra de forma adaptativa las características espectrales centradas mejoradas con características espaciales finas de múltiples niveles para la clasificación. Experimentos comparativos extensos y estudios de ablación demuestran que MSRAN logra resultados altamente competitivos en dos conjuntos de datos clásicos de la Universidad de Pavia y Salinas, así como en un nuevo conjunto de datos de WHU-Hi-LongKou.
Descripción
Las imágenes hiperespectrales (HSIs) encapsulan una gran cantidad de información debido a su tamaño expansivo y alto número de dimensiones de canal. Sin embargo, no se utilizan suficientemente para la extracción de características ineficaz, especialmente en regiones con pocas muestras y bordes predominantes. Para aprovechar al máximo las características espaciales-espectrales de las HSIs, se propone una red de atención residual espacial-espectral multi-escala de doble rama (MSRAN) que integra la extracción de características multi-escala con mecanismos de atención residual. MSRAN extrae de forma independiente características espaciales y espectrales a través de ramas duales, minimizando la interferencia entre estas características y mejorando el enfoque en la extracción de características en diferentes dimensiones. Específicamente, en la rama de extracción de características espectrales, los núcleos de convolución 3D de diferentes escalas capturan características de secuencia espectral extendida y características espectrales de vecindario. La fusión de convolución enfatiza el peso del píxel central a clasificar, seguido por el uso de mecanismos de atención residual espectral para extraer características espectrales mejoradas del píxel central. En la rama de extracción de características espaciales, se utilizan campos receptivos de múltiples niveles para extraer varios contornos espaciales detallados finos, bordes y características locales detalladas, que se procesan adicionalmente a través de atención residual espacial para extraer efectivamente características compuestas espaciales. Finalmente, el módulo de fusión de convolución integra de forma adaptativa las características espectrales centradas mejoradas con características espaciales finas de múltiples niveles para la clasificación. Experimentos comparativos extensos y estudios de ablación demuestran que MSRAN logra resultados altamente competitivos en dos conjuntos de datos clásicos de la Universidad de Pavia y Salinas, así como en un nuevo conjunto de datos de WHU-Hi-LongKou.