Este estudio investiga el problema de optimización de dividendos en el marco de regularización de entropía en el contexto del aprendizaje por refuerzo en tiempo continuo. Se establece el HJB exploratorio, y la política óptima de dividendos exploratorios es una distribución exponencial truncada. Mostramos que, para elecciones adecuadas de la tasa máxima de pago de dividendos y el parámetro de temperatura, la función de valor del problema de optimización de dividendos exploratorios puede ser significativamente diferente de la función de valor en el problema clásico de optimización de dividendos. En particular, la función de valor del problema de optimización de dividendos exploratorios puede clasificarse en tres casos según su monotonía. Además, se presentan ejemplos numéricos para mostrar el efecto del parámetro de temperatura en la solución. Nuestros resultados sugieren que las compañías de seguros pueden adoptar nuevas estrategias de pago de dividendos exploratorios en entornos de mercado desconocidos.