logo móvil

Rt-detr-mcdaf: fusión multimodal de imágenes de luz visible e infrarroja cercana para la detección de defectos en la superficie de cítricos en el dominio compuesto

Autores: Luo, Jingxi; Yang, Zhanwei; Cao, Ying; Wen, Tao; Li, Dapeng

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico


Categoría

Ciencias Agrícolas y Biológicas

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 9

Citaciones: Sin citaciones


Descripción
La detección precisa de defectos en la superficie de cítricos es esencial para la clasificación automatizada de cítricos para mejorar la comercialización de la industria citrícola. Sin embargo, estudios previos solo se han centrado en la detección de defectos unimodales utilizando imágenes de luz visible (RGB) o imágenes de luz infrarroja cercana (NIR), sin considerar la fusión de características entre estas dos modalidades. Este estudio propuso un método de fusión multimodal RGB-NIR para extraer e integrar características clave de ambas modalidades para mejorar el rendimiento de detección de defectos. Primero, se construyó un conjunto de datos multimodal RGB-NIR que contiene cuatro tipos de defectos en la superficie de cítricos (cánceres, plagas, melanosis y grietas). En segundo lugar, se desarrolló un módulo de Fusión de Atención de Dominio Compuesto Multimodal (MCDAF) para la fusión de canales multimodales. Finalmente, MCDAF se integró en la red de extracción de características de Real-Time DEtection TRansformer (RT-DETR). Los resultados experimentales demostraron que RT-DETR-MCDAF logró valores de Precisión, Recall, [email protected] y [email protected]:0.95 de 0,914, 0,919, 0,90 y 0,937, respectivamente, con un rendimiento de detección promedio de 0,598. En comparación con el modelo RT-DETR-RGB&NIR, que utilizaba una fusión de concatenación de canales simple, RT-DETR-MCDAF mejoró el rendimiento en un 1,3%, 1,7%, 1%, 1,5% y 1,7%, respectivamente. En general, el modelo propuesto superó a los métodos tradicionales de fusión de canales y a los modelos unimodales de vanguardia, proporcionando ideas innovadoras para la clasificación comercial de cítricos.

Documentos Relacionados

Temas Virtualpro