La producción de colada continua es una etapa importante en la fusión de acero de alta calidad, y el control automático de la colada basado en inteligencia artificial es una tecnología clave para mejorar el proceso de colada continua y la calidad del producto. Al controlar razonablemente el grado de apertura de la varilla de parada, el molde puede llenarse de acero líquido de manera estable en la ventana de tiempo especificada, y se puede realizar la colada automática. En este documento, se propone un método de control de colada automática de colada continua basado en un algoritmo mejorado de Soft Actor-Critic (SAC). En primer lugar, se establece un modelo relacional del grado de apertura de la varilla de parada y la velocidad de salida del acero líquido según los datos históricos de colada. Luego, se establecen el modelo de Proceso de Decisión de Markov (MDP) del problema de colada automática y el marco de aprendizaje por refuerzo basado en el algoritmo SAC. Finalmente, se introduce un Pool de Experiencia Heterogénea (HEP) para mejorar el algoritmo SAC. Según los resultados de la simulación, el algoritmo propuesto puede predecir la secuencia del grado de apertura de la varilla de parada bajo la restricción de la curva de nivel líquido objetivo. Bajo diferentes especificaciones de lingotes y condiciones de interferencia, se puede lograr una precisión del 80% del nivel líquido en el molde y una tasa de estabilidad del grado de apertura de la varilla de parada del 75%, lo que es un 4.29% y un 3.17% más alto que los algoritmos base, respectivamente.