Resumen

Hoy en da, la heterogeneidad de las distintas modalidades es el principal problema de la recuperacin intermodal. Para superar las lagunas de heterogeneidad, es necesario extraer las correlaciones potenciales de las distintas modalidades. Al mismo tiempo, la informacin semntica de las etiquetas de clase se utiliza para reducir las lagunas semnticas entre los datos de las distintas modalidades y hacer realidad la interdependencia y la interoperabilidad de los datos heterogneos. Para explotar al mximo la correlacin potencial de las distintas modalidades, proponemos un marco de recuperacin intermodal basado en la regularizacin grfica y la dependencia de la modalidad (GRMD). En primer lugar, teniendo en cuenta la correlacin potencial de caractersticas y la correlacin semntica, se aprenden diferentes matrices de proyeccin para diferentes tareas de recuperacin, como la consulta de texto de imagen (I2T) o la consulta de texto de imagen (T2I). En segundo lugar, utilizando la estructura interna del espacio de caractersticas original se construye un grafo adyacente con restricciones de informacin semntica que puede hacer que diferentes etiquetas de datos heterogneos se acerquen ms a la informacin semntica correspondiente. Los resultados experimentales en tres conjuntos de datos ampliamente utilizados demuestran la eficacia de nuestro mtodo.

• Materias:Red 5G Internet de las cosas Seguridad de la información Tecnologías de comunicación
• Subjects:5G Network Internet of things Information security Communication technologies
• Palabras claves:Brecha de heterogeneidad; Recuperación intermodal; Correlaciones potenciales; Información semántica; Regularización de gráficos; Dependencia de la modalidad.
• Keywords:Heterogeneity gap; Cross-modal retrieval; Potential correlations; Semantic information; Graph regularization; Modality dependence