El seguimiento de múltiples objetos (MOT) es un problema fundamental y ha atraído considerable atención en la comunidad de conducción autónoma. Este documento presenta un nuevo marco de MOT para la conducción autónoma. El marco consta de dos etapas: representación de objetos y asociación de datos. En la etapa de representación de objetos, empleamos características de apariencia, movimiento y posición para caracterizar los objetos. Diseñamos una red de hash de agrupamiento piramidal espacial (SPPHNet) para generar las características de apariencia. Las características representativas de múltiples niveles en el SPPHNet se mapean en un espacio binario que preserva la similitud, llamado características hash. Las características hash retienen la discriminabilidad visual de las características de alta dimensión y son beneficiosas para la eficiencia computacional. Para la asociación de datos, se diseña un esquema de asociación de datos de dos niveles para abordar el problema de la oclusión, que consiste en un modelo de costo de afinidad y un modelo de recuperación de imágenes basado en hash. El modelo de costo de afinidad acomoda las características hash, la disparidad y el flujo óptico como el primer nivel de asociación de datos. El modelo de recuperación de imágenes basado en hash explota las características hash y adopta tecnología de recuperación de imágenes para manejar objetos que reaparecen como el segundo nivel de asociación de datos. Los experimentos en el conjunto de datos de referencia pública KITTI y nuestras secuencias de escenarios del campus muestran que nuestro método tiene un rendimiento de seguimiento superior al de los métodos MOT basados en visión de última generación.