Los robots tienen una pobre capacidad de adaptación en términos de control de formación y control de evitación de obstáculos en entornos complejos desconocidos. Para abordar este problema, en este artículo, proponemos un nuevo método de planificación de movimientos basado en el control de agrupamiento y el aprendizaje por refuerzo. Utiliza el control de agrupamiento para implementar un movimiento ordenado de múltiples robots. Para evitar la trampa de los campos potenciales que se enfrentan durante el control de agrupamiento, se optimiza el control de agrupamiento y se diseña la estrategia de control del comportamiento de seguimiento de paredes. En este artículo, se adopta el aprendizaje por refuerzo para implementar la decisión de comportamiento robótico y para mejorar las habilidades analíticas y predictivas del robot durante la planificación de movimientos en un entorno desconocido. Se desarrolla una plataforma de simulación visual en este artículo, en la que los investigadores pueden probar algoritmos para el control de movimiento de múltiples robots, como el control de evitación de obstáculos, el control de formación, la planificación de rutas y la estrategia de aprendizaje por refuerzo. Como muestran los experimentos de simulación, el método de planificación de movimientos presentado en este artículo puede mejorar las habilidades de los sistemas de múltiples robots para auto-aprender y auto-adaptarse en un entorno completamente desconocido con obstáculos complejos.