Jens Fleischer

Landesweite Lernstandserhebungen zwischen Bildungsmonitoring und Individualdiagnostik

Landesweite Lernstandserhebungen und Vergleichsarbeiten sind in Deutschland gewahnlich Instrumente der Selbstevaluation in Schulen. Am Beispiel von Nordrhein-Westfalen wird anhand von Kompetenzdaten der landesweit vollstandigen Jahrgangsstufe 9 (ca. 200 000 Schulerinnen und Schuler) aus den Jahren 2004 und 2005 fur die Facher Deutsch, Englisch und Mathematik vorgestellt, wie die Testinstrumente und die Durchfuhrung von Lernstandserhebungen sowie die Ruckmeldung der Ergebnisse in den Schulen so gestaltet werden konnen, dass sie psychometrischen Mindestanforderungen gerecht werden, kriteriale Vergleiche auf Klassenebene und „faire“ soziale Vergleiche der Klassen mit den jeweiligen Schulformen erlauben und innerhalb von Schulen Prozesse der Schul- und Unterrichtsentwicklung anstosen konnen.

Competence Assessment in Education: An Introduction

In this chapter, the structure and the specific research areas of the German DFG-Priority Program “Competence Models for Assessing Individual Learning Outcomes and Evaluating Educational Processes” are briefly described, in order to provide a background for the following chapters, which describe various individual projects of this Priority Program. The chapters have been organized into six thematic parts.

Niedrige Testmodellpassung als Resultat mangelnder Auswertungsobjektivität bei der Kodierung landesweiter Vergleichsarbeiten durch Lehrkräfte

ZusammenfassungBei landesweiten Vergleichsarbeiten wird die Auswertung der Test-Items von Lehrkräften auf Basis vorgegebener Manuale eigenständig durchgeführt. Inder vorliegenden Studie wird die Frage untersucht, ob mangelnde Auswertungsobjektivität (hier: mangelnde Manual-Treue) bei der Kodierung der Items durch die Lehrkräfte mit abweichenden Antwortmustern von Schüler-Lösungen in Bezug auf das bei Vergleichsarbeiten häufig verwendete Testmodell von Rasch (1980) einhergeht. Die Testhefte von Schulklassen mit niedriger und mit durchschnittlicher Modellpassung bei den nordrhein-westfälischen Vergleichsarbeiten in der achten Jahrgangsstufe im Fach Mathematik wurden von externen Beurteilern erneut ausgewertet und die Modellpassung und korrespondierende Schätzungen der Schülerkompetenzen dieser neuen Beurteilungen bestimmt. Die Ergebnisse verdeutlichen, dass (1) eine niedrige durchschnittliche Modellpassung dieser Schulklassen auf mangelnde Manual-Treue der Lehrkräfte zurückzuführen ist und dass (2) die Abweichungen im Vergleich zur manual-treuen Auswertung mit höheren mittleren Schülerkompetenzen einhergehen. Implikationen dieses Beurteilungseffektes für die Arbeit mit Vergleichsarbeiten in der Mathematik werden abschließend diskutiert.AbstractWith state-wide administered large-scale assessments of competencies students’ solutions of test items are independently coded by their teachers according to an instructions manual. The study at hand evaluates whether lack of conformity to the manual by the coding teacher goes along with aberrant responses in the psychometric model of Rasch (1980). Answer sheets of both low and average fitting classes from a state-wide administered large-scale assessment in the German state of Northrhine-Westfalia were re-analysed, and model fit was re-computed. Results show that (1) low fit is correlated with lack of conformity to the manual and that (2) higher scoring ability estimates were computed when being attributed to this lack of conformity. Concluding remarks are given for the work with large-scale assessments of competencies.

Training in Components of Problem-Solving Competence: An Experimental Study of Aspects of the Cognitive Potential Exploitation Hypothesis

In this chapter, two studies are presented that investigate aspects of the cognitive potential exploitation hypothesis. This hypothesis states that students in Germany have cognitive potentials they do not use when solving subject-specific problems but that they do use when solving cross-curricular problems. This theory has been used to explain how students in Germany achieved relatively well on cross-curricular problem solving but relatively weakly on mathematical problem solving in the Programme for International Student Assessment (PISA) 2003. Our main research question in this chapter is: Can specific aspects of cross-curricular problem-solving competence (that is, conditional knowledge, procedural knowledge, and planning skills) be taught, and if so, would training in this area also transfer to mathematical problem solving? We investigated this question in a computer-based training experiment and a field-experimental training study. The results showed only limited effects in the laboratory experiment, although an interaction effect of treatment and prior problem-solving competence in the field-experiment indicated positive effects of training as well as a transfer to mathematical problem-solving for low-achieving problem-solvers. The results are discussed from a theoretical and a pedagogical perspective.

Analytical problem solving: Potentials and manifestations

Being able to solve problems is a crucially important outcome of almost all domains of education, as well as a requirement for future learning and acheivement. This chapter summarises the results from the cross-curricular analytical problem solving element of the 2003 Programme for International Student Assessment (PISA). The results from Germany indicated that schools may not be sufficiently exploiting students’ cognitive potential to develop their subject-specific competencies. To investigate this hypothesis and find ways to make use of this potential, the chapter describes research on the cognitive components and the structure of analytical problem-solving competence and its relation to mathematical competence. It concludes with results from two experimental studies aiming to foster students’ mathematical competence by training in analytical problemsolving competence.

Niedrige Testmodellpassung als Resultat mangelnder Auswertungsobjektivität bei der Kodierung landesweiter Vergleichsarbeiten durch Lehrkräfte@@@Low Test Model Fit and Teacher Rater Bias—Results from a State-Wide Administered Large-Scale Assessment of Competencies

ZusammenfassungBei landesweiten Vergleichsarbeiten wird die Auswertung der Test-Items von Lehrkräften auf Basis vorgegebener Manuale eigenständig durchgeführt. Inder vorliegenden Studie wird die Frage untersucht, ob mangelnde Auswertungsobjektivität (hier: mangelnde Manual-Treue) bei der Kodierung der Items durch die Lehrkräfte mit abweichenden Antwortmustern von Schüler-Lösungen in Bezug auf das bei Vergleichsarbeiten häufig verwendete Testmodell von Rasch (1980) einhergeht. Die Testhefte von Schulklassen mit niedriger und mit durchschnittlicher Modellpassung bei den nordrhein-westfälischen Vergleichsarbeiten in der achten Jahrgangsstufe im Fach Mathematik wurden von externen Beurteilern erneut ausgewertet und die Modellpassung und korrespondierende Schätzungen der Schülerkompetenzen dieser neuen Beurteilungen bestimmt. Die Ergebnisse verdeutlichen, dass (1) eine niedrige durchschnittliche Modellpassung dieser Schulklassen auf mangelnde Manual-Treue der Lehrkräfte zurückzuführen ist und dass (2) die Abweichungen im Vergleich zur manual-treuen Auswertung mit höheren mittleren Schülerkompetenzen einhergehen. Implikationen dieses Beurteilungseffektes für die Arbeit mit Vergleichsarbeiten in der Mathematik werden abschließend diskutiert.AbstractWith state-wide administered large-scale assessments of competencies students’ solutions of test items are independently coded by their teachers according to an instructions manual. The study at hand evaluates whether lack of conformity to the manual by the coding teacher goes along with aberrant responses in the psychometric model of Rasch (1980). Answer sheets of both low and average fitting classes from a state-wide administered large-scale assessment in the German state of Northrhine-Westfalia were re-analysed, and model fit was re-computed. Results show that (1) low fit is correlated with lack of conformity to the manual and that (2) higher scoring ability estimates were computed when being attributed to this lack of conformity. Concluding remarks are given for the work with large-scale assessments of competencies.