El seguimiento de objetivos es un tema significativo en el campo de la visión por computadora. En este artículo, se estudia el algoritmo de seguimiento de objetivos basado en la red Siamesa profunda. Con el objetivo de abordar la situación en la que el proceso de seguimiento no es robusto, como el desplazamiento o la pérdida del objetivo, se mejora la precisión y la robustez del algoritmo mediante la mejora de la extracción de características y la actualización en línea. Este artículo agrega un bloque SE y un mecanismo de atención temporal (TAM) al marco de la red neuronal Siamesa. El bloque SE puede refinar y extraer características; se asignan diferentes pesos a los diferentes canales según su importancia, lo que puede mejorar la discriminación de la red y la capacidad de reconocimiento del rastreador. El mecanismo de atención temporal puede actualizar el estado del objetivo ajustando los pesos de las muestras en el fotograma actual y el fotograma histórico para resolver el desplazamiento del modelo causado por la existencia de un fondo similar. Utilizamos la pérdida de entropía cruzada para distinguir los objetivos en diferentes secuencias para que su distancia en los dominios de características sea mayor y las características sean más fáciles de identificar. Entrenamos y probamos la red en tres benchmarks y la comparamos con varios métodos de seguimiento de vanguardia. Los resultados experimentales demuestran que el algoritmo propuesto es superior a otros métodos en el diagrama de efecto de seguimiento y en los criterios de evaluación. El algoritmo propuesto puede resolver efectivamente el problema de la oclusión mientras se garantiza el rendimiento en tiempo real en el proceso de seguimiento.