El reconocimiento de los tallos de plantas es vital para automatizar múltiples procesos en la producción de frutas y verduras. La similitud de color entre los tallos y las hojas de las plantas de tomate presenta un desafío considerable para reconocer los tallos en imágenes a color. Con la relación de dualidad en pares de bordes como base, diseñamos un algoritmo de reconocimiento para los tallos de plantas de tomate basado en una red neuronal híbrida conjunta, que estaba compuesta por el método de borde de dualidad y modelos de aprendizaje profundo. Se diseñaron métricas a nivel de píxel para evaluar el rendimiento de la red neuronal. Las pruebas mostraron que el algoritmo propuesto funciona bien para detectar objetos delgados y largos incluso si los objetos tienen un color similar al de los fondos. En comparación con otros métodos basados en imágenes a color, la red neuronal híbrida conjunta puede reconocer los tallos principales y laterales y tiene menos falsos negativos y positivos. El método propuesto tiene un bajo costo de hardware y se puede utilizar en la automatización de la producción de frutas y verduras, como en la fertilización y pulverización dirigidas automáticas, deshojado, poda de ramas, cosecha de frutas en racimos y cosecha con sacudida de tronco, evasión de obstáculos y navegación.