La infraestructura de transporte actual y los sistemas de gestión del tráfico están sobrecargados debido a la creciente demanda de capacidad en las carreteras, lo que a menudo conduce a la congestión. Construir más infraestructura no siempre es una estrategia práctica para aumentar la capacidad de las carreteras. Por lo tanto, los servicios de los Sistemas de Transporte Inteligente (ITS) se aplican comúnmente para aumentar el nivel de servicio. El crecimiento de los vehículos conectados y autónomos (CAV) trae nuevas oportunidades para el sistema de gestión del tráfico. Uno de esos enfoques es el control de Límite de Velocidad Variable (VSL), y en este documento se desarrolla y examina un VSL basado en Q-Learning (QL) utilizando CAV como sensores y actuadores móviles en combinación con Matrices de Transición de Velocidad (STM) para la estimación del estado. El algoritmo propuesto STM-QL-DVSL fue evaluado en siete escenarios de tráfico con tasas de penetración de CAV que varían de a . El algoritmo propuesto STM-QL-DVSL utiliza dos conjuntos de acciones que incluyen posiciones de zonas de límite de velocidad dinámico y límites de velocidad calculados. El algoritmo propuesto se comparó con sin control, VSL basado en reglas y dos configuraciones STM-QL-VSL con zonas VSL fijas. El STM-QL-DVSL desarrollado superó todas las demás estrategias de control y mejoró los parámetros de tráfico macroscópicos medidos como el Tiempo Total Gastado y el Tiempo Medio de Viaje al aprender la política de control para cada escenario simulado.