Sd-yolov8: modelo sam-asistido de doble rama yolo v8 para la detección de brotes de té en imágenes ópticas
Autores: Zhang, Xintong; Wu, Dasheng; Xu, Fengya
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Ciencias Agrícolas y Biológicas Generales
Palabras clave
Detección de brotes de té
Primeros planos y fondos
Modelo SD-YOLOv8
Segmentador de primer plano basado en SAM
Extractor de características heterogéneo
Precisión Media Promedio
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
Es desafiante lograr una detección precisa de brotes de té en imágenes ópticas con fondos complejos, ya que sigue siendo difícil distinguir entre los primeros planos y fondos de estas imágenes. Aunque se han propuesto varios estudios para distinguir implícitamente entre primeros planos y fondos a través de varios mecanismos de atención, la distinción explícita entre primeros planos y fondos ha sido poco explorada. Inspirado en las exitosas aplicaciones recientes del Modelo Segment Anything (SAM) en visión por computadora, este estudio propone un modelo YOLOv8 de doble rama asistido por SAM llamado SD-YOLOv8 para la detección de brotes de té para abordar los desafíos de la distinción explícita entre primeros planos y fondos. El modelo SD-YOLOv8 consta principalmente de dos componentes clave: (1) el segmentador de primer plano basado en SAM (SFS) para generar máscaras de primer plano de imágenes de brotes de té sin ningún entrenamiento, y (2) el extractor de características heterogéneas para capturar en paralelo tanto características de color en imágenes ópticas como características de borde en máscaras de primer plano. Los resultados experimentales muestran que el SD-YOLOv8 propuesto mejora significativamente el rendimiento de la detección de brotes de té basada en la distinción explícita entre primeros planos y fondos. La Precisión Promedio de los resultados del modelo SD-YOLOv8 alcanza el 86.0%, superando al YOLOv8 (mAP 81.6%) en 5 puntos porcentuales y superando a modelos recientes de detección de objetos, incluidos Faster R-CNN (mAP 60.7%), DETR (mAP 64.6%), YOLOv5 (mAP 72.4%) y YOLOv7 (mAP 80.6%). Esto demuestra su capacidad superior para detectar eficientemente brotes de té contra fondos complejos. Además, este estudio propone un conjunto de datos de brotes de té autoconstruido con tres temporadas para abordar la escasez de datos en la detección de brotes de té.
Descripción
Es desafiante lograr una detección precisa de brotes de té en imágenes ópticas con fondos complejos, ya que sigue siendo difícil distinguir entre los primeros planos y fondos de estas imágenes. Aunque se han propuesto varios estudios para distinguir implícitamente entre primeros planos y fondos a través de varios mecanismos de atención, la distinción explícita entre primeros planos y fondos ha sido poco explorada. Inspirado en las exitosas aplicaciones recientes del Modelo Segment Anything (SAM) en visión por computadora, este estudio propone un modelo YOLOv8 de doble rama asistido por SAM llamado SD-YOLOv8 para la detección de brotes de té para abordar los desafíos de la distinción explícita entre primeros planos y fondos. El modelo SD-YOLOv8 consta principalmente de dos componentes clave: (1) el segmentador de primer plano basado en SAM (SFS) para generar máscaras de primer plano de imágenes de brotes de té sin ningún entrenamiento, y (2) el extractor de características heterogéneas para capturar en paralelo tanto características de color en imágenes ópticas como características de borde en máscaras de primer plano. Los resultados experimentales muestran que el SD-YOLOv8 propuesto mejora significativamente el rendimiento de la detección de brotes de té basada en la distinción explícita entre primeros planos y fondos. La Precisión Promedio de los resultados del modelo SD-YOLOv8 alcanza el 86.0%, superando al YOLOv8 (mAP 81.6%) en 5 puntos porcentuales y superando a modelos recientes de detección de objetos, incluidos Faster R-CNN (mAP 60.7%), DETR (mAP 64.6%), YOLOv5 (mAP 72.4%) y YOLOv7 (mAP 80.6%). Esto demuestra su capacidad superior para detectar eficientemente brotes de té contra fondos complejos. Además, este estudio propone un conjunto de datos de brotes de té autoconstruido con tres temporadas para abordar la escasez de datos en la detección de brotes de té.