Marta Ginovart Gisbert

On How Moodle Quizzes Can Contribute to the Formative e-Assessment of First-Year Engineering Students in Mathematics Courses

Given the importance of formative assessment in the context of the European Higher Education Area, it is necessary to explore new tools to implement innovative strategies for the formative assessment of students. Moodle’s quiz module represents an alternative to traditional tools, such as paper-and-pencil tests. In 2008, we carried out a project subsidised by the Institute of Education Sciences at the Universitat Politècnica de Catalunya — BarcelonaTech (UPC), the main aim of which was to elaborate a number of Moodle question pools and to design, implement and assess a series of quizzes from these pools. The project covered the compulsory undergraduate subjects in applied mathematics included in the first- and second-year syllabuses for all branches of Engineering. From the students’ results, it was then necessary to examine and revise the reliability of the quizzes as an assessment tool of the teaching and learning process. The analysis of the psychometric coefficients provided by Moodle proved to be a useful tool for assessing whether the questions had an appropriate level of difficulty and were suitable for discriminating between good and bad performers. Taking into account the psychometric analysis of this first project, in 2009 we initiated a new project, in which we planned to revise thoroughly the quizzes created in the former project, to improve their suitability as an assessment tool. This paper shows: i) the students’ results in the quizzes performed in the two academic years in the courses Mathematics 1 and Mathematics 2 — both taught in the first year of the four bachelor’s degree programmes in Biological Systems Engineering organised by the School of Agricultural Engineering of Barcelona at the UPC, as well as the students’ attitudes towards activities of this kind; and ii) the revision and fine-tuning of the quizzes from the psychometric analysis to improve their reliability. Finally, the analysis of the results reported leads to a discussion on the advisability of using this tool for the formative assessment of students.ResumenEn el contexto del Espacio Europeo de Educación Superior, en el que la evaluación formativa desempeña un papel esencial, es necesario explorar nuevas herramientas con el fin de implementar estrategias innovadoras de seguimiento y evaluación de los estudiantes. El módulo de cuestionarios en el entorno Moodle representa una alternativa frente a las metodologías tradicionales, como pueden ser las pruebas escritas. En el marco de las ayudas para la mejora de la docencia concedidas por el Instituto de Ciencias de la Educación de la Universidad Politécnica de Cataluña — BarcelonaTech (UPC), durante el curso académico 2008/2009 se llevó a cabo un proyecto docente cuyo objetivo principal era el diseño de preguntas tipo test y su posterior implementación en cuestionarios del entorno Moodle para asignaturas de matemáticas y estadística correspondientes a primeros cursos de titulaciones de ingeniería. Con los resultados de los cuestionarios realizados por los estudiantes, se vio que era conveniente analizar y revisar su fiabilidad y adecuación para avalar estas actividades de evaluación del proceso de aprendizaje. El análisis de los coeficientes psicométricos facilitados por Moodle resultó ser una herramienta útil a la hora de valorar si las cuestiones propuestas tenían el nivel de dificultad adecuado y si, en consecuencia, eran convenientes para discriminar entre buenas y malas prácticas. En el marco de otro proyecto, también subvencionado por la UPC, durante el siguiente curso académico 2009/2010 se revisaron de forma exhaustiva los cuestionarios implementados con el fin de mejorar su eficiencia como herramienta de evaluación. En este trabajo se presentan: i) los resultados de los cuestionarios realizados por los estudiantes durante esos dos cursos académicos en las asignaturas Matemáticas 1 y Matemáticas 2 de primer año de los cuatro grados de Ingenieria de Biosistemas de la Escuela Superior de Agricultura de Barcelona de la UPC, así como la opinión de los estudiantes sobre este tipo de actividad, ii) la revisión y adaptación de los cuestionarios a partir de los indices psicométricos para mejorar su eficiencia. Finalmente, a partir de los resultados analizados se hace una reflexión sobre la conveniencia de utilizar este tipo de herramientas para la evaluación formativa de los estudiantes.

Los cuestionarios del entorno Moodle: su contribución a la evaluación virtual formativa de los alumnos de matemáticas de primer año de las titulaciones de Ingeniería

Given the importance of formative assessment in the context of the European Higher Education Area, it is necessary to explore new tools to implement innovative strategies for the formative assessment of students. Moodle’s quiz module represents an alternative to traditional tools, such as paper-and-pencil tests. In 2008, we carried out a project subsidised by the Institute of Education Sciences at the Universitat Politècnica de Catalunya — BarcelonaTech (UPC), the main aim of which was to elaborate a number of Moodle question pools and to design, implement and assess a series of quizzes from these pools. The project covered the compulsory undergraduate subjects in applied mathematics included in the first- and second-year syllabuses for all branches of Engineering. From the students’ results, it was then necessary to examine and revise the reliability of the quizzes as an assessment tool of the teaching and learning process. The analysis of the psychometric coefficients provided by Moodle proved to be a useful tool for assessing whether the questions had an appropriate level of difficulty and were suitable for discriminating between good and bad performers. Taking into account the psychometric analysis of this first project, in 2009 we initiated a new project, in which we planned to revise thoroughly the quizzes created in the former project, to improve their suitability as an assessment tool. This paper shows: i) the students’ results in the quizzes performed in the two academic years in the courses Mathematics 1 and Mathematics 2 — both taught in the first year of the four bachelor’s degree programmes in Biological Systems Engineering organised by the School of Agricultural Engineering of Barcelona at the UPC, as well as the students’ attitudes towards activities of this kind; and ii) the revision and fine-tuning of the quizzes from the psychometric analysis to improve their reliability. Finally, the analysis of the results reported leads to a discussion on the advisability of using this tool for the formative assessment of students.ResumenEn el contexto del Espacio Europeo de Educación Superior, en el que la evaluación formativa desempeña un papel esencial, es necesario explorar nuevas herramientas con el fin de implementar estrategias innovadoras de seguimiento y evaluación de los estudiantes. El módulo de cuestionarios en el entorno Moodle representa una alternativa frente a las metodologías tradicionales, como pueden ser las pruebas escritas. En el marco de las ayudas para la mejora de la docencia concedidas por el Instituto de Ciencias de la Educación de la Universidad Politécnica de Cataluña — BarcelonaTech (UPC), durante el curso académico 2008/2009 se llevó a cabo un proyecto docente cuyo objetivo principal era el diseño de preguntas tipo test y su posterior implementación en cuestionarios del entorno Moodle para asignaturas de matemáticas y estadística correspondientes a primeros cursos de titulaciones de ingeniería. Con los resultados de los cuestionarios realizados por los estudiantes, se vio que era conveniente analizar y revisar su fiabilidad y adecuación para avalar estas actividades de evaluación del proceso de aprendizaje. El análisis de los coeficientes psicométricos facilitados por Moodle resultó ser una herramienta útil a la hora de valorar si las cuestiones propuestas tenían el nivel de dificultad adecuado y si, en consecuencia, eran convenientes para discriminar entre buenas y malas prácticas. En el marco de otro proyecto, también subvencionado por la UPC, durante el siguiente curso académico 2009/2010 se revisaron de forma exhaustiva los cuestionarios implementados con el fin de mejorar su eficiencia como herramienta de evaluación. En este trabajo se presentan: i) los resultados de los cuestionarios realizados por los estudiantes durante esos dos cursos académicos en las asignaturas Matemáticas 1 y Matemáticas 2 de primer año de los cuatro grados de Ingenieria de Biosistemas de la Escuela Superior de Agricultura de Barcelona de la UPC, así como la opinión de los estudiantes sobre este tipo de actividad, ii) la revisión y adaptación de los cuestionarios a partir de los indices psicométricos para mejorar su eficiencia. Finalmente, a partir de los resultados analizados se hace una reflexión sobre la conveniencia de utilizar este tipo de herramientas para la evaluación formativa de los estudiantes.