Vmlh: localización eficiente de momentos de video mediante hash

La ubicación de momentos de video por consulta es un tema candente en la comprensión de videos. Sin embargo, la mayoría de los métodos existentes ignoran la importancia de la eficiencia de ubicación en escenarios de aplicación práctica; el video y las oraciones de consulta deben ser alimentados en la red al mismo tiempo durante la recuperación, lo que conduce a una baja eficiencia. Para abordar este problema, en este estudio, proponemos una ubicación eficiente de momentos de video a través de hashing (VMLH). En el método propuesto, las oraciones de consulta y los clips de video se convierten, respectivamente, en códigos hash y conjuntos de códigos hash, en los que se preserva la similitud semántica entre las oraciones de consulta y los clips de video. La red de predicción de ubicación está diseñada para predecir el tiempo correspondiente según la similitud entre los códigos hash, y los videos no necesitan ser alimentados en la red durante el proceso de recuperación y ubicación. Además, a diferencia de los métodos existentes, que requieren interacciones y fusión complejas entre videos y oraciones de consulta, el método VMLH propuesto solo necesita una operación XOR simple entre códigos para ubicar el momento de video con alta eficiencia. Este documento sienta las bases para una rápida posición de clips de video y hace posible aplicar la ubicación de clips de video a gran escala en la práctica. Los resultados experimentales en dos conjuntos de datos públicos demuestran la efectividad del método.

Autores: Tan, Zhifang; Dong, Fei; Liu, Xinfang; Li, Chenglong; Nie, Xiushan