Un esquema compacto de poda paralela para modelos de aprendizaje profundo y su implementación en dispositivos móviles
Autores: Li, Meng; Zhao, Ming; Luo, Tie; Yang, Yimin; Peng, Sheng-Lung
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Algoritmo de poda
Poda de filtro
Precisión del modelo
Mejora de datos
Normalización por lotes
Aprendizaje por transferencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
En el algoritmo de poda única, se utiliza la poda de canal o la poda de filtro para comprimir la red neuronal convolucional profunda, y todavía hay muchos parámetros redundantes en el modelo comprimido. Poda directamente el filtro causará en gran medida la pérdida de información clave y afectará la precisión de la clasificación del modelo. Para resolver estos problemas, se propone un algoritmo de poda paralela combinado con mejora de imagen. En primer lugar, para mejorar la capacidad de generalización del modelo, se introduce un método de mejora de datos de borrado aleatorio. En segundo lugar, de acuerdo con el factor de escala de la capa de normalización por lotes entrenada, se cortan los canales con pequeña contribución, el modelo se adelgaza inicialmente y luego se podan los filtros. Al calcular la mediana geométrica de los filtros, se encuentran y se podan los filtros redundantes similares a ellos, y su similitud se mide calculando la distancia entre los filtros. La poda se realizó utilizando VGG19 y DenseNet40 en los conjuntos de datos cifar10 y cifar100. Los resultados experimentales muestran que este algoritmo puede mejorar la precisión del modelo y, al mismo tiempo, puede comprimir en cierta medida el cálculo y los parámetros del modelo. Finalmente, este método se aplica en la práctica y, combinado con el aprendizaje por transferencia, se clasifican y detectan objetos de tráfico en el teléfono móvil.
Descripción
En el algoritmo de poda única, se utiliza la poda de canal o la poda de filtro para comprimir la red neuronal convolucional profunda, y todavía hay muchos parámetros redundantes en el modelo comprimido. Poda directamente el filtro causará en gran medida la pérdida de información clave y afectará la precisión de la clasificación del modelo. Para resolver estos problemas, se propone un algoritmo de poda paralela combinado con mejora de imagen. En primer lugar, para mejorar la capacidad de generalización del modelo, se introduce un método de mejora de datos de borrado aleatorio. En segundo lugar, de acuerdo con el factor de escala de la capa de normalización por lotes entrenada, se cortan los canales con pequeña contribución, el modelo se adelgaza inicialmente y luego se podan los filtros. Al calcular la mediana geométrica de los filtros, se encuentran y se podan los filtros redundantes similares a ellos, y su similitud se mide calculando la distancia entre los filtros. La poda se realizó utilizando VGG19 y DenseNet40 en los conjuntos de datos cifar10 y cifar100. Los resultados experimentales muestran que este algoritmo puede mejorar la precisión del modelo y, al mismo tiempo, puede comprimir en cierta medida el cálculo y los parámetros del modelo. Finalmente, este método se aplica en la práctica y, combinado con el aprendizaje por transferencia, se clasifican y detectan objetos de tráfico en el teléfono móvil.