logo móvil
Contáctanos

Marco de Identificación de Enfermedades de Hojas de Tomate FCMNet Basado en Fusión Multimodal

Autores: Deng, Siming; Zhu, Jiale; Hu, Yang; He, Mingfang; Xia, Yonglin

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico


Categoría

Ciencias Agrícolas y Biológicas

Subcategoría

Botánica

Palabras clave

Enfermedades
Cultivos de tomate
Fusión multimodal
FGAM
CVLA
MSCOA

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 7

Citaciones: Sin citaciones


Descripción
El reconocimiento preciso de enfermedades en las hojas de tomate juega un papel crucial en la mejora de la salud, productividad y calidad de los cultivos de tomate. Sin embargo, los métodos de identificación de enfermedades que dependen de información de un solo modo a menudo enfrentan problemas de precisión insuficiente y débil capacidad de generalización. Por lo tanto, este artículo propone un marco de reconocimiento de enfermedades en hojas de tomate, FCMNet, basado en fusión multimodal, que combina imágenes de enfermedades en hojas de tomate y descripciones textuales para mejorar la capacidad de capturar características de la enfermedad. En este artículo, se diseña el Mecanismo de Atención Guiado por Fourier (FGAM), que incrusta sistemáticamente la información del dominio de frecuencia de Fourier en la estructura de atención espacial-canal por primera vez, mejora la estabilidad y resistencia al ruido de la expresión de características a través de la transformación espectral, y realiza una localización de lesiones más precisa mediante la fusión a múltiples escalas de características locales y globales. Para lograr la interacción semántica profunda entre la imagen y el modo textual, se propone además un módulo de Alineación Visión-Lenguaje Cruzada (CVLA). Este módulo genera representaciones visuales compatibles con las incrustaciones de Bert utilizando técnicas de segmentación en bloques y mapeo de características. Además, incorpora un mecanismo de ponderación basado en probabilidad para lograr una fusión multimodal mejorada, fortaleciendo significativamente la comprensión del modelo sobre las relaciones semánticas a través de diferentes modalidades. Además, para mejorar tanto la eficiencia de entrenamiento como las capacidades de optimización de parámetros del modelo, introducimos un Algoritmo de Optimización Coati Mejorado de Estrategia Múltiple (MSCOA). Este algoritmo integra la inicialización de Buen Conjunto de Puntos con una estrategia de búsqueda de Seno Dorado, aumentando así la exploración global, acelerando la convergencia y previniendo efectivamente el atrapamiento en óptimos locales. En consecuencia, exhibe una robusta adaptabilidad y un rendimiento estable dentro de espacios de búsqueda de alta dimensión. Los resultados experimentales muestran que el modelo FCMNet ha aumentado la precisión y exactitud en un 2.61% y 2.85%, respectivamente, en comparación con el modelo base en el conjunto de datos autoconstruido de enfermedades en hojas de tomate, y el recall y la puntuación F1 han aumentado en un 3.03% y 3.06%, respectivamente, lo que es significativamente superior a los métodos existentes. Esta investigación proporciona una nueva solución para la identificación de enfermedades en hojas de tomate y tiene un amplio potencial para aplicaciones agrícolas.

Otros recursos que podrían interesarte

    Temas Virtualpro