Un problema difícil y abierto en inteligencia artificial es el desarrollo de agentes que puedan operar en entornos complejos que cambian con el tiempo. La presente comunicación introduce las nociones formales, la arquitectura y el algoritmo de entrenamiento de una máquina capaz de aprender y tomar decisiones en entornos estructurados en evolución. Estos entornos se definen como conjuntos de relaciones en evolución entre entidades en evolución. La máquina propuesta se basa en un modelo gráfico probabilístico cuyas variables latentes dependientes del tiempo siguen una suposición de Markov. La probabilidad de dichas variables dadas el entorno estructurado se estima a través de una variante probabilística de la red neuronal recursiva.