La rugosidad de la superficie y la fricción deslizante son fundamentales para determinar el rendimiento de engranajes helicoidales en el acoplamiento dinámico, especialmente bajo condiciones de soporte flexible. Además, los parámetros de acoplamiento influenciados por las vibraciones del engranaje exhiben características variables en el tiempo bajo la rigidez del soporte flexible, lo cual es ignorado por muchos académicos. Con base en esto, se desarrolla un modelo dinámico no lineal de un sistema de engranajes cilíndricos helicoidales bajo condiciones de soporte flexible, considerando los efectos de acoplamiento de la fricción dinámica y el juego influenciado por la rugosidad superficial fractal. Las ecuaciones diferenciales de movimiento del sistema se derivan utilizando el método de Lagrange, y se obtienen soluciones numéricas a través del método de Runge-Kutta. Se estudia el efecto de varios parámetros de control (velocidad de conducción, rugosidad de la superficie y dimensión fractal) sobre la respuesta dinámica del sistema de engranajes, y se compara el modelo dinámico propuesto con el modelo tradicional bajo diferentes rigideces de soporte para demostrar su adaptabilidad a escenarios de soporte altamente flexible. Los resultados indican que el modelo dinámico propuesto es más adecuado para estructuras de soporte flexible. Además, los efectos de acoplamiento de la fricción deslizante y el juego fractal amplifican la respuesta dinámica del sistema de engranajes e introducen características espectrales complejas. Este estudio proporciona una guía teórica para la optimización de diseños de reducción de vibraciones y ruido en sistemas de engranajes helicoidales.