Cookies y Privacidad
Usamos cookies propias y de terceros para mejorar la experiencia de nuestros usuarios, analizar el tráfico del sitio y personalizar contenido. Si continúas navegando, asumimos que aceptas su uso. Para más información, consulta nuestra Política de Cookies
Un marco basado en comparación para la evaluación de la calidad del argumento
Evaluar la calidad de los argumentos es tanto valioso como desafiante. Los humanos a menudo descubren que hacer comparaciones en pares entre un argumento objetivo y varios argumentos de referencia facilita una evaluación más precisa de la calidad del argumento objetivo. Inspirados en esto, proponemos un marco de trabajo basado en comparaciones para evaluaciones de calidad de argumentos (CompAQA), que puntúa la calidad de un argumento a través de múltiples comparaciones en pares. Además, introducimos una estrategia de aumento de datos basada en el orden de los argumentos para mejorar la capacidad de comparación relativa de calidad de CompAQA. Al introducir varios argumentos de referencia para comparaciones en pares, CompAQA mejora la objetividad y precisión de las evaluaciones de calidad de argumentos. Otra ventaja de CompAQA es su capacidad para integrar tanto la clasificación de calidad de argumentos en pares como las tareas de clasificación de calidad de argumentos en un marco unificado, distinguiéndolo de los métodos existentes. Realizamos experimentos extensos utilizando varios modelos de codificadores preentrenados. Nuestros experimentos involucran dos conjuntos de datos de clasificación de calidad de argumentos (IBM-ArgQ-5.3kArgs y IBM-Rank-30k) y un conjunto de datos de clasificación de calidad de argumentos en pares (IBM-ArgQ-9.1kPairs). En general, CompAQA supera significativamente a varios baselines sólidos. Específicamente, al usar el modelo RoBERTa como base, CompAQA supera al método anterior en el conjunto de datos IBM-Rank-30k, mejorando la correlación de Pearson en 0.0203 y la correlación de Spearman en 0.0148. En el conjunto de datos IBM-ArgQ-5.3kArgs, muestra mejoras de 0.0069 en la correlación de Pearson y 0.0208 en la correlación de Spearman. Además, CompAQA demuestra un aumento del 4.71% en precisión sobre el método base en el conjunto de datos IBM-ArgQ-9.1kPairs. También mostramos que CompAQA puede aplicarse de manera efectiva para afinar modelos preentrenados de decodificadores más grandes, como Llama.
Autores: Bao, Jianzhu; Jin, Bojun; Sun, Yang; Zhang, Yice; He, Yuhang; Xu, Ruifeng
Idioma: Inglés
Editor: MDPI
Año: 2024
Disponible con Suscripción Virtualpro
Artículos
Categoría
Ingeniería y Tecnología
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 8
Citaciones: Sin citaciones
Este documento es un artículo elaborado por Jianzhu Bao, Bojun Jin, Yang Sun, Yice Zhang, Yuhang He y Ruifeng Xu para la revista Electronics, Vol. 13, Núm. 20. Publicación de MDPI. Contacto: electronics@mdpi.com
Evaluar la calidad de los argumentos es tanto valioso como desafiante. Los humanos a menudo descubren que hacer comparaciones en pares entre un argumento objetivo y varios argumentos de referencia facilita una evaluación más precisa de la calidad del argumento objetivo. Inspirados en esto, proponemos un marco de trabajo basado en comparaciones para evaluaciones de calidad de argumentos (CompAQA), que puntúa la calidad de un argumento a través de múltiples comparaciones en pares. Además, introducimos una estrategia de aumento de datos basada en el orden de los argumentos para mejorar la capacidad de comparación relativa de calidad de CompAQA. Al introducir varios argumentos de referencia para comparaciones en pares, CompAQA mejora la objetividad y precisión de las evaluaciones de calidad de argumentos. Otra ventaja de CompAQA es su capacidad para integrar tanto la clasificación de calidad de argumentos en pares como las tareas de clasificación de calidad de argumentos en un marco unificado, distinguiéndolo de los métodos existentes. Realizamos experimentos extensos utilizando varios modelos de codificadores preentrenados. Nuestros experimentos involucran dos conjuntos de datos de clasificación de calidad de argumentos (IBM-ArgQ-5.3kArgs y IBM-Rank-30k) y un conjunto de datos de clasificación de calidad de argumentos en pares (IBM-ArgQ-9.1kPairs). En general, CompAQA supera significativamente a varios baselines sólidos. Específicamente, al usar el modelo RoBERTa como base, CompAQA supera al método anterior en el conjunto de datos IBM-Rank-30k, mejorando la correlación de Pearson en 0.0203 y la correlación de Spearman en 0.0148. En el conjunto de datos IBM-ArgQ-5.3kArgs, muestra mejoras de 0.0069 en la correlación de Pearson y 0.0208 en la correlación de Spearman. Además, CompAQA demuestra un aumento del 4.71% en precisión sobre el método base en el conjunto de datos IBM-ArgQ-9.1kPairs. También mostramos que CompAQA puede aplicarse de manera efectiva para afinar modelos preentrenados de decodificadores más grandes, como Llama.
Descripción
Evaluar la calidad de los argumentos es tanto valioso como desafiante. Los humanos a menudo descubren que hacer comparaciones en pares entre un argumento objetivo y varios argumentos de referencia facilita una evaluación más precisa de la calidad del argumento objetivo. Inspirados en esto, proponemos un marco de trabajo basado en comparaciones para evaluaciones de calidad de argumentos (CompAQA), que puntúa la calidad de un argumento a través de múltiples comparaciones en pares. Además, introducimos una estrategia de aumento de datos basada en el orden de los argumentos para mejorar la capacidad de comparación relativa de calidad de CompAQA. Al introducir varios argumentos de referencia para comparaciones en pares, CompAQA mejora la objetividad y precisión de las evaluaciones de calidad de argumentos. Otra ventaja de CompAQA es su capacidad para integrar tanto la clasificación de calidad de argumentos en pares como las tareas de clasificación de calidad de argumentos en un marco unificado, distinguiéndolo de los métodos existentes. Realizamos experimentos extensos utilizando varios modelos de codificadores preentrenados. Nuestros experimentos involucran dos conjuntos de datos de clasificación de calidad de argumentos (IBM-ArgQ-5.3kArgs y IBM-Rank-30k) y un conjunto de datos de clasificación de calidad de argumentos en pares (IBM-ArgQ-9.1kPairs). En general, CompAQA supera significativamente a varios baselines sólidos. Específicamente, al usar el modelo RoBERTa como base, CompAQA supera al método anterior en el conjunto de datos IBM-Rank-30k, mejorando la correlación de Pearson en 0.0203 y la correlación de Spearman en 0.0148. En el conjunto de datos IBM-ArgQ-5.3kArgs, muestra mejoras de 0.0069 en la correlación de Pearson y 0.0208 en la correlación de Spearman. Además, CompAQA demuestra un aumento del 4.71% en precisión sobre el método base en el conjunto de datos IBM-ArgQ-9.1kPairs. También mostramos que CompAQA puede aplicarse de manera efectiva para afinar modelos preentrenados de decodificadores más grandes, como Llama.