Resumen

En los últimos años, la globalización económica es la tendencia, y la comunicación entre países es cada vez más estrecha; cada vez más personas empiezan a prestar atención al aprendizaje del inglés hablado. El desarrollo del aprendizaje de idiomas asistido por ordenador hace que sea más cómodo para la gente aprender inglés hablado; sin embargo, la detección y corrección de la pronunciación incorrecta del inglés, que es su núcleo, son todavía inadecuadas. En este artículo, proponemos un modelo multimodal de detección y corrección de errores de pronunciación en inglés basado en audio y vídeo, que no requiere la alineación forzada de fonemas de la señal de vídeo de pronunciación en inglés para ser procesada, y utiliza características ricas de audio y vídeo para la detección de errores de pronunciación en inglés, lo que mejora la precisión de la detección de errores en gran medida, especialmente en entornos ruidosos. Para subsanar las deficiencias del algoritmo actual de extracción de características labiales, que es demasiado complicado y no tiene suficiente capacidad de caracterización, se propone un esquema de extracción de características basado en el ángulo de apertura y cierre de los labios. Los fotogramas de las sílabas labiales se obtienen mediante la división de fotogramas de vídeo, las sílabas se desenotizan, la información de los puntos clave de los labios se obtiene mediante un algoritmo de árbol de regresión basado en la mejora del gradiente, los efectos de la inclinación y el movimiento del hablante se eliminan mediante la normalización de la escala y, por último, los ángulos de apertura y cierre de los labios se calculan mediante geometría matemática y los valores de las características labiales se generan combinando los cambios de ángulo.

• Materias:Biotecnología Minería de datos Redes de sensores Sistema de sensores Tecnología de sensores
• Subjects:Biotechnology Data mining Sensor networks Sensor system Sensor technology
• Palabras claves:detección de errores de pronunciación inglesa, apertura labial, señal de vídeo de pronunciación inglesa, algoritmo actual de extracción de características labiales, capacidad de caracterización suficiente, precisión de detección de errores, esquema de extracción de características, pronunciación inglesa incorrecta, información de puntos clave, valores de características labiales
• Keywords:english pronunciation error detection, lip opening, english pronunciation video signal, current lip feature extraction algorithm, enough characterization ability, error detection accuracy, feature extraction scheme, incorrect english pronunciation, key point information, lip feature values