Biblioteca32.423 documentos en línea

Artículo

Deep Neural Networks with Multistate Activation FunctionsRedes neuronales profundas con funciones de activación multiestado

Resumen

Proponemos funciones de activación multiestado (MSAFs) para redes neuronales profundas (DNNs). Estas MSAFs son nuevos tipos de funciones de activación que son capaces de representar más de dos estados, incluyendo las MSAFs de orden N y la MSAF simétrica. Las DNNs con estas MSAFs pueden entrenarse mediante el Descenso Gradiente Estocástico (SGD) convencional, así como mediante el SGD normalizado. También analizamos el rendimiento de estos MSAF cuando se utilizan para resolver problemas de clasificación. Los resultados experimentales en el corpus TIMIT revelan que, en tareas de reconocimiento del habla, las DNNs con MSAFs se comportan mejor que las DNNs convencionales, obteniendo una mejora relativa del 5,60% en las tasas de error de los fonemas. Otros experimentos también revelan que la SGD normalizada por la media facilita los procesos de entrenamiento de las DNNs con MSAFs, especialmente cuando se trata de grandes conjuntos de entrenamiento. Los modelos también pueden entrenarse directamente sin preentrenamiento cuando el conjunto de entrenamiento es lo suficientemente grande, lo que da lugar a una considerable mejora relativa del 5,82% en las tasas de error de las palabras.

  • Tipo de documento:
  • Formato:pdf
  • Idioma:Inglés
  • Tamaño: Kb

Cómo citar el documento

Esta es una versión de prueba de citación de documentos de la Biblioteca Virtual Pro. Puede contener errores. Lo invitamos a consultar los manuales de citación de las respectivas fuentes.

Este contenido no est� disponible para su tipo de suscripci�n

Información del documento