Resumen

La búsqueda intermodal se ha convertido en un punto de interés para la investigación en los últimos años. A diferencia de la búsqueda multimodal tradicional, la búsqueda de información multimodal en redes sociales se ve restringida por la calidad de los datos para el texto arbitrario y las características visuales de baja resolución. Además, la escasez semántica de los datos intermodales de las redes sociales hace que las modalidades textual y visual se confundan. En este artículo, proponemos un método de búsqueda intermodal para datos de redes sociales que aprovecha el aprendizaje adversarial (búsqueda intermodal con aprendizaje adversarial: CMSAL). Adoptamos redes neuronales basadas en la autoatención para generar representaciones orientadas a la modalidad para el posterior aprendizaje de correlación intermodal. Se implementa un módulo de búsqueda basado en el aprendizaje adversarial, a través del cual se diseña el discriminador para medir la distribución de las características generadas desde las perspectivas intramodal e intramodal. Los experimentos con conjuntos de datos de palabras reales de Sina Weibo y Wikipedia, que tienen propiedades similares a las de las redes sociales, muestran que el método propuesto supera a los métodos de búsqueda intermodal del estado del arte.

• Materias:Minería de datos Algoritmos genéticos Cerebro - fisiopatología Neurociencia Cognitiva Neurofisiología
• Subjects:Data mining Genetic algorithms Brain - pathophysiology Cognitive Neuroscience Neurophysiology
• Palabras claves:métodos de búsqueda modal, búsqueda modal, aprendizaje adversarial, red social, cruz, aprendizaje de correlación intermodal, red social cruz, búsqueda de información modal, red neuronal basada, datos de la red social
• Keywords:modal search methods, modal search, adversarial learning, social network, cross, intermodal correlation learning, social network cross, modal information search, based neural network, social network data