Una función de activación n-Sigmoid para mejorar el Squeeze-and-Excitation en redes profundas 2D y 3D
Autores: Mulindwa, Desire Burume; Du, Shengzhi
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
Categoría
Ingeniería y Tecnología
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
La estructura Squeeze-and-Excitation (SE) ha sido diseñada para mejorar el rendimiento de la red neuronal al permitirle ejecutar una recalibración positiva de las características por canal y suprimir las características menos útiles. Las estructuras SE son generalmente adoptadas en una gran cantidad de tareas directamente en modelos existentes y han mostrado mejoras reales en el rendimiento. Sin embargo, las diversas funciones sigmoideas utilizadas en las redes neuronales artificiales están intrínsecamente restringidas por los gradientes que desaparecen. El propósito de este documento es mejorar aún más la red al introducir un nuevo bloque SE con una función de activación personalizada resultante de la integración de una función sigmoidea desplazada en tramos. La función de activación propuesta tiene como objetivo mejorar la capacidad de aprendizaje y generalización de las redes neuronales 2D y 3D para clasificación y segmentación, reduciendo el problema del gradiente que desaparece. Se realizaron comparaciones entre las redes con el diseño original, la adición del bloque SE y el bloque SE n-sigmoide propuesto. Para evaluar el rendimiento de este nuevo método, se consideraron conjuntos de datos comúnmente utilizados, CIFAR-10 y Carvana para datos 2D y el Conjunto de Datos de Arenisca para datos 3D. Los experimentos realizados utilizando SE mostraron que la nueva función n-sigmoide resulta en mejoras de rendimiento en la puntuación de precisión del entrenamiento para UNet (aumento del 0,25% a 99,67%), ResNet (aumento del 0,9% a 95,1%) y DenseNet (aumento del 1,1% a 98,87%) para los casos 2D, y el UNet 3D (aumento del 0,2% a 99,67%) para los casos 3D. El bloque SE n-sigmoide no solo reduce el problema del gradiente que desaparece, sino que también desarrolla características valiosas al combinar información por canal e información espacial.
Descripción
La estructura Squeeze-and-Excitation (SE) ha sido diseñada para mejorar el rendimiento de la red neuronal al permitirle ejecutar una recalibración positiva de las características por canal y suprimir las características menos útiles. Las estructuras SE son generalmente adoptadas en una gran cantidad de tareas directamente en modelos existentes y han mostrado mejoras reales en el rendimiento. Sin embargo, las diversas funciones sigmoideas utilizadas en las redes neuronales artificiales están intrínsecamente restringidas por los gradientes que desaparecen. El propósito de este documento es mejorar aún más la red al introducir un nuevo bloque SE con una función de activación personalizada resultante de la integración de una función sigmoidea desplazada en tramos. La función de activación propuesta tiene como objetivo mejorar la capacidad de aprendizaje y generalización de las redes neuronales 2D y 3D para clasificación y segmentación, reduciendo el problema del gradiente que desaparece. Se realizaron comparaciones entre las redes con el diseño original, la adición del bloque SE y el bloque SE n-sigmoide propuesto. Para evaluar el rendimiento de este nuevo método, se consideraron conjuntos de datos comúnmente utilizados, CIFAR-10 y Carvana para datos 2D y el Conjunto de Datos de Arenisca para datos 3D. Los experimentos realizados utilizando SE mostraron que la nueva función n-sigmoide resulta en mejoras de rendimiento en la puntuación de precisión del entrenamiento para UNet (aumento del 0,25% a 99,67%), ResNet (aumento del 0,9% a 95,1%) y DenseNet (aumento del 1,1% a 98,87%) para los casos 2D, y el UNet 3D (aumento del 0,2% a 99,67%) para los casos 3D. El bloque SE n-sigmoide no solo reduce el problema del gradiente que desaparece, sino que también desarrolla características valiosas al combinar información por canal e información espacial.