Aprendizaje mejorado de características: Una red neuronal profunda de máximo promedio para el juego Go

Los programas informáticos de juego basados en el aprendizaje profundo por refuerzo han superado el rendimiento incluso de los mejores jugadores humanos. Sin embargo, el enorme espacio de análisis de estas redes neuronales y sus numerosos parámetros requieren una gran potencia de cálculo. Por ello, en este estudio nos propusimos aumentar la eficiencia de aprendizaje de la red modificando la estructura de la red neuronal, lo que debería reducir el número de iteraciones de aprendizaje y la potencia de cálculo necesaria. Se propone una red neuronal convolucional con una estructura de unidad de máximo promedio (MAO) basada en el pensamiento de función a trozos, a través de la cual se pueden aprender eficazmente las características y mejorar la capacidad de expresión de las características de la capa oculta. Para verificar el rendimiento de la estructura MAO, la comparamos con la red ResNet18 aplicando ambas al marco de AlphaGo Zero, desarrollado para jugar al juego Go. Las dos estructuras de red se entrenaron desde cero utilizando un entorno de servidor de bajo coste. La unidad MAO ganó ocho de cada diez partidas contra la red ResNet18. El rendimiento superior de la unidad MAO en comparación con la red ResNet18 es significativo para el futuro desarrollo de algoritmos de juego que requieran menos potencia de cálculo que los que se utilizan actualmente.

Autores: Xiali, Li; Zhengyu, Lv; Bo, Liu; Licheng, Wu; Zheng, Wang