logo móvil
Contáctanos

Método adaptativo de entrenamiento paralelo distribuido para un modelo de aprendizaje profundo basado en caminos críticos dinámicos de DAG

Autores: Zeng, Yan; Wang, Wei; Ding, Yong; Zhang, Jilin; Ren, Yongjian; Yi, Guangzheng

Idioma: Inglés

Editor: MDPI

Año: 2022

Descargar PDF

Acceso abierto

Artículo científico


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Ia
Modelos de redes neuronales
Tecnología paralela
Algoritmos de grafos
Entrenamiento distribuido en paralelo
Rutas DAG

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 22

Citaciones: Sin citaciones


Descripción
La inteligencia artificial proporciona un nuevo método para cálculos masivos de datos simulados en dinámica molecular, materiales y otros campos de la informática científica. Sin embargo, las estructuras complejas y los parámetros a gran escala de los modelos de redes neuronales los hacen difíciles de desarrollar y entrenar. La tecnología automática de paralelismo basada en algoritmos de gráficos es uno de los métodos más prometedores para resolver este problema, a pesar de la baja eficiencia en el diseño, implementación y ejecución de políticas paralelas distribuidas para modelos de redes neuronales a gran escala. En este documento, proponemos un método de entrenamiento paralelo distribuido adaptativo basado en la generación dinámica de rutas críticas de DAG (grafo acíclico dirigido), llamado FD-DPS, para resolver este problema de eficiencia. En primer lugar, el modelo propuesto divide los operadores con la dimensión del tensor, lo que puede ampliar el espacio disponible para el paralelismo del modelo. En segundo lugar, se emplea un método de generación de ruta crítica dinámica para determinar cambios de prioridad de nodo en el DAG de los modelos de redes neuronales. Finalmente, el modelo implementa la programación óptima de rutas críticas basada en la prioridad de los nodos, mejorando así el rendimiento de las estrategias paralelas. Nuestros experimentos muestran que FD-DPS puede lograr un entrenamiento un 12,76% y un 11,78% más rápido en los modelos PnasNet_mobile y ResNet_200, respectivamente, en comparación con los métodos MP-DPS y Fast.

Documentos Relacionados

Temas Virtualpro