La búsqueda aleatoria y el algoritmo genético permiten encontrar el umbral óptimo de tiempo de respuesta en evaluaciones de bajo riesgo
Autores: Bulut, Okan; Gorgun, Guher; Wongvorachan, Tarid; Tan, Bin
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Adivinanzas rápidas
Evaluaciones de bajo riesgo
Tiempo de respuesta
Umbral de RT
Enfoque basado en datos
Métodos de detección
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
El rápido adivinar es un comportamiento de respuesta aberrante que ocurre comúnmente en evaluaciones de bajo riesgo con pocas o ninguna consecuencia formal para los estudiantes. Recientemente, la disponibilidad de información de tiempo de respuesta (RT) en evaluaciones basadas en computadora ha motivado a los investigadores a desarrollar varios métodos para detectar de manera sistemática respuestas adivinadas rápidamente. Estos métodos a menudo requieren que los investigadores identifiquen un umbral de RT subjetivamente para cada ítem que podría distinguir el comportamiento de adivinanza rápida del comportamiento de solución. En este estudio, proponemos un enfoque basado en datos utilizando búsqueda aleatoria y algoritmo genético para buscar el umbral óptimo de RT dentro de un espacio de búsqueda predefinido. Utilizamos datos de respuesta de una evaluación de matemáticas de bajo riesgo administrada a más de 5000 estudiantes en 658 escuelas en los Estados Unidos. Mientras demostramos cómo usar nuestro enfoque basado en datos, también comparamos su rendimiento con el de los métodos existentes de establecimiento de umbrales. Los resultados muestran que el método propuesto podría producir umbrales de RT viables para detectar el rápido adivinar en evaluaciones de bajo riesgo. Además, en comparación con los otros métodos de establecimiento de umbrales, el método propuesto produjo umbrales de RT más liberales, marcando un mayor número de respuestas. Se discutieron las implicaciones para la práctica y las direcciones para futuras investigaciones.
Descripción
El rápido adivinar es un comportamiento de respuesta aberrante que ocurre comúnmente en evaluaciones de bajo riesgo con pocas o ninguna consecuencia formal para los estudiantes. Recientemente, la disponibilidad de información de tiempo de respuesta (RT) en evaluaciones basadas en computadora ha motivado a los investigadores a desarrollar varios métodos para detectar de manera sistemática respuestas adivinadas rápidamente. Estos métodos a menudo requieren que los investigadores identifiquen un umbral de RT subjetivamente para cada ítem que podría distinguir el comportamiento de adivinanza rápida del comportamiento de solución. En este estudio, proponemos un enfoque basado en datos utilizando búsqueda aleatoria y algoritmo genético para buscar el umbral óptimo de RT dentro de un espacio de búsqueda predefinido. Utilizamos datos de respuesta de una evaluación de matemáticas de bajo riesgo administrada a más de 5000 estudiantes en 658 escuelas en los Estados Unidos. Mientras demostramos cómo usar nuestro enfoque basado en datos, también comparamos su rendimiento con el de los métodos existentes de establecimiento de umbrales. Los resultados muestran que el método propuesto podría producir umbrales de RT viables para detectar el rápido adivinar en evaluaciones de bajo riesgo. Además, en comparación con los otros métodos de establecimiento de umbrales, el método propuesto produjo umbrales de RT más liberales, marcando un mayor número de respuestas. Se discutieron las implicaciones para la práctica y las direcciones para futuras investigaciones.