Método adaptativo de entrenamiento paralelo distribuido para un modelo de aprendizaje profundo basado en caminos críticos dinámicos de DAG
Autores: Zeng, Yan; Wang, Wei; Ding, Yong; Zhang, Jilin; Ren, Yongjian; Yi, Guangzheng
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Ia
Modelos de redes neuronales
Tecnología paralela
Algoritmos de grafos
Entrenamiento distribuido en paralelo
Rutas DAG
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
La inteligencia artificial proporciona un nuevo método para cálculos masivos de datos simulados en dinámica molecular, materiales y otros campos de la informática científica. Sin embargo, las estructuras complejas y los parámetros a gran escala de los modelos de redes neuronales los hacen difíciles de desarrollar y entrenar. La tecnología automática de paralelismo basada en algoritmos de gráficos es uno de los métodos más prometedores para resolver este problema, a pesar de la baja eficiencia en el diseño, implementación y ejecución de políticas paralelas distribuidas para modelos de redes neuronales a gran escala. En este documento, proponemos un método de entrenamiento paralelo distribuido adaptativo basado en la generación dinámica de rutas críticas de DAG (grafo acíclico dirigido), llamado FD-DPS, para resolver este problema de eficiencia. En primer lugar, el modelo propuesto divide los operadores con la dimensión del tensor, lo que puede ampliar el espacio disponible para el paralelismo del modelo. En segundo lugar, se emplea un método de generación de ruta crítica dinámica para determinar cambios de prioridad de nodo en el DAG de los modelos de redes neuronales. Finalmente, el modelo implementa la programación óptima de rutas críticas basada en la prioridad de los nodos, mejorando así el rendimiento de las estrategias paralelas. Nuestros experimentos muestran que FD-DPS puede lograr un entrenamiento un 12,76% y un 11,78% más rápido en los modelos PnasNet_mobile y ResNet_200, respectivamente, en comparación con los métodos MP-DPS y Fast.
Descripción
La inteligencia artificial proporciona un nuevo método para cálculos masivos de datos simulados en dinámica molecular, materiales y otros campos de la informática científica. Sin embargo, las estructuras complejas y los parámetros a gran escala de los modelos de redes neuronales los hacen difíciles de desarrollar y entrenar. La tecnología automática de paralelismo basada en algoritmos de gráficos es uno de los métodos más prometedores para resolver este problema, a pesar de la baja eficiencia en el diseño, implementación y ejecución de políticas paralelas distribuidas para modelos de redes neuronales a gran escala. En este documento, proponemos un método de entrenamiento paralelo distribuido adaptativo basado en la generación dinámica de rutas críticas de DAG (grafo acíclico dirigido), llamado FD-DPS, para resolver este problema de eficiencia. En primer lugar, el modelo propuesto divide los operadores con la dimensión del tensor, lo que puede ampliar el espacio disponible para el paralelismo del modelo. En segundo lugar, se emplea un método de generación de ruta crítica dinámica para determinar cambios de prioridad de nodo en el DAG de los modelos de redes neuronales. Finalmente, el modelo implementa la programación óptima de rutas críticas basada en la prioridad de los nodos, mejorando así el rendimiento de las estrategias paralelas. Nuestros experimentos muestran que FD-DPS puede lograr un entrenamiento un 12,76% y un 11,78% más rápido en los modelos PnasNet_mobile y ResNet_200, respectivamente, en comparación con los métodos MP-DPS y Fast.