Resumen

Recientemente, los robots inteligentes de preguntas y respuestas (Q&A) basados en el procesamiento del lenguaje natural (PLN) se han utilizado en todas partes. Sin embargo, la robustez y la seguridad de los robots de preguntas y respuestas actuales siguen siendo insatisfactorias, por ejemplo, un pequeo error tipogrfico en la pregunta del usuario puede hacer que el robot de preguntas y respuestas no sea capaz de devolver la respuesta correcta. En este artculo, proponemos un mtodo rpido y automtico de generacin de conjuntos de datos de prueba para la evaluacin de la robustez y la seguridad de los robots de preguntas y respuestas actuales, que puede funcionar en escenarios de caja negra y, por tanto, puede aplicarse a una gran variedad de robots de preguntas y respuestas. En concreto, proponemos un mtodo de eneracin de muestras dversariales basado en la dependencia (DPAEG) para robots de preguntas y respuestas. DPAEG utiliza en primer lugar el algoritmo de extraccin de palabras clave basado en el anlisis de dependencias para extraer las palabras clave de una pregunta. A continuacin, el algoritmo propuesto genera palabras adversas en funcin de las palabras clave extradas, entre las que se incluyen errores tipogrficos y palabras que se escriben de forma similar a las palabras clave. Por ltimo, estas palabras adversas se utilizan para generar un gran nmero de preguntas adversas. Las preguntas adversas generadas, que son similares a las preguntas originales, no afectan a la comprensin de los humanos, pero los robots de preguntas y respuestas no pueden responder correctamente a estas preguntas adversas. Adems, el mtodo propuesto funciona en un escenario de caja negra, lo que significa que no necesita el conocimiento de los robots de preguntas y respuestas objetivo. Los resultados experimentales muestran que los ejemplos adversariales generados tienen una alta tasa de xito en dos robots de preguntas y respuestas de ltima generacin, DrQA y Google Assistant. Adems, los ejemplos adversarios generados no slo afectan a la respuesta correcta (top-1) devuelta por DrQA, sino tambin a las respuestas ms candidatas devueltas por DrQA. Los ejemplos adversos hacen que las respuestas ms candidatas contengan menos respuestas correctas y que las respuestas correctas ocupen un lugar ms bajo entre las respuestas ms candidatas. Los resultados de la evaluacin humana muestran que participantes de diferentes gneros, edades y lenguas maternas pueden entender el significado de la mayora de los ejemplos adversarios generados, lo que significa que los ejemplos adversarios generados no afectan a la comprensin humana.

• Materias:Seguridad informática Comunicación inalámbrica Internet de las cosas Ataques de denegación distribuida de servicio
• Subjects:Computer security Wireless communication Internet of things Distributed denial of service attacks
• Palabras claves:Procesamiento del lenguaje natural; Robots de preguntas y respuestas; Robustez; Seguridad; Ejemplos adversarios; Basados en el análisis sintáctico de dependencias.
• Keywords:Natural language processing; Question and answer robots; Robustness; Security; Adversarial examples; Dependency parse-based.