Biblioteca73.326 documentos en línea

Artículo

Gradient-Sensitive Optimization for Convolutional Neural NetworksOptimización sensible al gradiente para redes neuronales convolucionales

Resumen

Las redes neuronales convolucionales (CNN) son modelos eficaces para la clasificación y el reconocimiento de imágenes. La optimización por descenso gradual (GD) es el algoritmo básico para la optimización de modelos CNN. Desde la aparición de GD, se han derivado una serie de algoritmos mejorados. Entre estos algoritmos, la estimación adaptativa de momentos (Adam) ha sido ampliamente reconocida. Sin embargo, los cambios locales son ignorados en Adam hasta cierto punto. En este trabajo, introducimos un factor de tasa de aprendizaje adaptativo basado en los gradientes actuales y recientes. De acuerdo con este factor, podemos ajustar dinámicamente la tasa de aprendizaje de cada parámetro independiente para ajustar adaptativamente el proceso de convergencia global. Utilizamos el factor para ajustar la tasa de aprendizaje de cada parámetro. La convergencia del algoritmo propuesto se demuestra utilizando el enfoque de límites de arrepentimiento del marco de aprendizaje en línea. En la sección experimental, se realizan comparaciones entre el algoritmo propuesto y otros algoritmos existentes, como AdaGrad, RMSprop, Adam, diffGrad y AdaHMG, sobre funciones de prueba y el conjunto de datos MNIST. Los resultados muestran que Adam y RMSprop combinados con nuestro algoritmo no sólo pueden encontrar el mínimo global más rápidamente en el experimento que utiliza la función de prueba, sino que también tienen una mejor curva de convergencia y una mayor precisión del conjunto de pruebas en los experimentos que utilizan conjuntos de datos. Nuestro algoritmo es un complemento de los algoritmos de descenso de gradiente existentes, que puede combinarse con muchos otros algoritmos de descenso de gradiente existentes para mejorar la eficiencia de la iteración, acelerar la convergencia de la función de coste y mejorar la tasa de reconocimiento final.

  • Tipo de documento:
  • Formato:pdf
  • Idioma:Inglés
  • Tamaño: Kb

Cómo citar el documento

Esta es una versión de prueba de citación de documentos de la Biblioteca Virtual Pro. Puede contener errores. Lo invitamos a consultar los manuales de citación de las respectivas fuentes.

Este contenido no est� disponible para su tipo de suscripci�n

Información del documento