An ecological view of measurement: Focus on multilevel model explanation of differential item functioning

Abstract

Background: The 3rd Regional Comparative and Explanatory Study reports, analyses and compares academic results in mathematics, sciences, and reading for 15 Latin American countries. Validity is the foundation of a testing procedure, and the process of validation is important to the overall success of educational assessment as a whole. This methodological study deals specifically with an ecological point of view which includes and situates the person, process, context, and time of the testing situation. These descriptions indicate specific events showing how and what variables at the individual, school, or country level can give a deep understanding of the response process. The aims were to investigate ecological explanations of differential item functioning. Method: The study analysed the science test given in 2013 to 6th grade students and the data pool consisted of 12,657 students from 2,609 schools and 15 countries. A progressive inclusion of the variance distribution in different Bernoulli logistic regression models was carried out. Results: The analyses showed the presence of differential item functioning in 32% of the science items. Conclusions: The main source of differential item functioning was related to the human development level of the participating countries. &NA; Un enfoque ecológico de la medición: explicación con modelos multinivel del funcionamiento diferencial de los ítems. Antecedentes: el tercer Estudio Regional Comparativo y Explicativo informa, analiza y compara los resultados académicos en matemáticas, ciencias y lectura de 15 países latinoamericanos. La validez es el fundamento del procedimiento de prueba y el proceso de validación es clave para el éxito de la evaluación educativa en general. Este estudio metodológico se enfoca desde un punto de vista ecológico que sitúa a la persona, el proceso, el contexto y el tiempo donde se desarrolla la prueba. Estas descripciones señalan eventos específicos cómo y qué variables a nivel individual, escuela o país pueden dar un entendimiento profundo del proceso de respuesta. El objetivo fue investigar el funcionamiento diferencial del ítem desde un marco ecológico. Método: se analizó la prueba de ciencias aplicada en 2013 a los alumnos de 6° grado, los datos abarcan a 12.657 alumnos, 2.609 escuelas y 15 países. Se realizó una inclusión progresiva de niveles de distribución de la varianza en diferentes modelos de regresión logística Bernoulli. Resultados: los análisis mostraron la presencia de funcionamiento diferencial del ítem en el 32% de la prueba de ciencias. Conclusión: la principal fuente de funcionamiento diferencial del ítem se ve asociado al nivel de desarrollo humano de los países participantes.