Consecuencias no ignorables de (parcialmente) ignorar las respuestas a ítems faltantes: los estudiantes omiten ítems (de respuesta construida) debido a una falta de conocimiento
Autores: Robitzsch, Alexander
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
Categoría
Gestión y administración
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 6
Citaciones: Sin citaciones
En la literatura reciente, se han propuesto modelos alternativos para manejar las respuestas de ítems faltantes en evaluaciones a gran escala. Basándose en simulaciones y argumentos basados en la teoría de pruebas psicométricas, se sostiene en esta literatura que las respuestas de ítems faltantes nunca deben ser puntuadas como incorrectas en los modelos de escalado, sino que deben ser tratadas como ignorables o manejadas según un modelo. El presente artículo muestra que estos argumentos tienen una validez limitada e ilustra las consecuencias en una comparación entre países utilizando el estudio PIRLS 2011. Se argumenta que los estudiantes omiten ítems (de respuesta construida) porque no conocen la respuesta correcta del ítem. Un tratamiento diferente de las respuestas de ítems faltantes que no sea puntuarlas como incorrectas conduce a cambios significativos en los rankings de los países, lo que induce consecuencias no ignorables respecto a la validez de los resultados. Además, se proponen dos modelos alternativos de respuesta de ítems basados en diferentes supuestos para las respuestas de ítems faltantes. En el primer enfoque de pseudo-verosimilitud, las respuestas de ítems faltantes para un estudiante particular son reemplazadas por una puntuación que varía entre cero y una probabilidad implícita en el modelo calculada en función de los ítems no faltantes. En el segundo enfoque, la probabilidad de una respuesta de ítem faltante es predicha por una variable de propensión de respuesta latente y la propia respuesta del ítem. Los modelos se aplicaron al estudio PIRLS 2011, demostrando que las comparaciones entre países cambian bajo diferentes supuestos de modelado para las respuestas de ítems faltantes.
Descripción
En la literatura reciente, se han propuesto modelos alternativos para manejar las respuestas de ítems faltantes en evaluaciones a gran escala. Basándose en simulaciones y argumentos basados en la teoría de pruebas psicométricas, se sostiene en esta literatura que las respuestas de ítems faltantes nunca deben ser puntuadas como incorrectas en los modelos de escalado, sino que deben ser tratadas como ignorables o manejadas según un modelo. El presente artículo muestra que estos argumentos tienen una validez limitada e ilustra las consecuencias en una comparación entre países utilizando el estudio PIRLS 2011. Se argumenta que los estudiantes omiten ítems (de respuesta construida) porque no conocen la respuesta correcta del ítem. Un tratamiento diferente de las respuestas de ítems faltantes que no sea puntuarlas como incorrectas conduce a cambios significativos en los rankings de los países, lo que induce consecuencias no ignorables respecto a la validez de los resultados. Además, se proponen dos modelos alternativos de respuesta de ítems basados en diferentes supuestos para las respuestas de ítems faltantes. En el primer enfoque de pseudo-verosimilitud, las respuestas de ítems faltantes para un estudiante particular son reemplazadas por una puntuación que varía entre cero y una probabilidad implícita en el modelo calculada en función de los ítems no faltantes. En el segundo enfoque, la probabilidad de una respuesta de ítem faltante es predicha por una variable de propensión de respuesta latente y la propia respuesta del ítem. Los modelos se aplicaron al estudio PIRLS 2011, demostrando que las comparaciones entre países cambian bajo diferentes supuestos de modelado para las respuestas de ítems faltantes.