La tarea principal en el seguimiento visual de objetos es rastrear un objeto en movimiento en una secuencia de imágenes. En este proceso, la trayectoria y el comportamiento del objeto se pueden describir calculando la posición, velocidad, aceleración y otros parámetros del objeto o memorizando la posición del objeto en cada fotograma del video correspondiente. Por lo tanto, el seguimiento visual de objetos puede completar muchas tareas más avanzadas, tiene un gran rendimiento en relación con escenas reales y se utiliza ampliamente en conducción automatizada, monitoreo del tráfico, interacción humano-computadora, entre otros. Los rastreadores basados en redes siamesas han recibido mucha atención de la comunidad de seguimiento, pero tienen muchas desventajas. Este artículo analiza en detalle las deficiencias del rastreador de red siamesa, utiliza el método de fusión de características a múltiples escalas para mejorar el rastreador de red siamesa y propone un nuevo marco de seguimiento de objetivos para abordar sus deficiencias. En este artículo, se integra un mapa de características de baja resolución pero con fuerte información semántica y un mapa de características de alta resolución y rica información espacial para mejorar la capacidad del modelo para representar un objeto, y se resuelve el problema del cambio de escala fusionando características a diferentes escalas. Además, utilizamos el módulo de filtrado 3D Max para suprimir predicciones repetidas de características a diferentes escalas. Finalmente, nuestros experimentos realizados en los cuatro puntos de referencia de seguimiento OTB2015, VOT2016, VOT2018 y GOT10K muestran que el algoritmo propuesto mejora efectivamente la precisión y robustez del seguimiento del sistema.