La predicción de datos del mercado financiero con modelos de aprendizaje profundo ha logrado cierto nivel de éxito reciente. Sin embargo, los datos financieros históricos sufren de un espacio de estado desconocido, observaciones limitadas y la incapacidad de modelar el impacto de tus propias acciones en el mercado puede ser a menudo prohibitivo al intentar encontrar estrategias de inversión utilizando aprendizaje por refuerzo profundo. Una forma de superar estas limitaciones es aumentar los datos del mercado real con simulaciones de mercado artificial basadas en agentes. Las simulaciones de mercado artificial diseñadas para reproducir características de mercado realistas pueden ser utilizadas para crear estados de mercado no observados, modelar el impacto de tus propias acciones de inversión en el mercado mismo y entrenar modelos con tantos datos como sea necesario. En este estudio, proponemos un marco para entrenar modelos de aprendizaje por refuerzo profundo en simulaciones de libro de órdenes de precios artificiales basadas en agentes que generan políticas no triviales bajo diversas condiciones con impacto en el mercado. Nuestras simulaciones confirman que el modelo de aprendizaje por refuerzo profundo propuesto, con una función de recompensa específica para la tarea única, fue capaz de aprender una estrategia de inversión robusta con un perfil de riesgo-retorno atractivo.