Denise Demski

What data do practitioners use and why? Evidence from Germany comparing schools in different contexts

ABSTRACT Poor performance in international student assessment has led to calls to enhance evidence-based practice in the German educational system. Yet indications about the extent to which German practitioners use data is limited, and little is known about factors influencing data-driven school improvement. Using data from three studies and comparing schools in different circumstances, we examined the perceived usefulness and the application of 13 different sources of information that can inform teachers’ and school leaders’ practice by means of standardised questionnaires. The results showed that practitioners attributed little usefulness to a standards-based reform and consequently hardly used these data. Instead, they claimed to prefer process-oriented information sources, such as student feedback. A comparison of the different samples indicated that data use might be lower in schools in challenging circumstances. In face-to-face interviews, a considerable proportion of the interviewees mentioned little data use due to a lack of time. Furthermore, problems in recontextualising evidence and adapting it to personal needs were mentioned. Some practitioners also stated shortcomings in the quality and validity of the data, which was particularly true for findings from school inspections and standardised testing of students.

Rahmenmodelle zum Umgang mit Feedback in Schulen

Zwar existiert bisher kein allgemein akzeptiertes und geteiltes Rahmenmodell zur Datennutzung von Schulen und schulischen Akteuren (Schildkamp, Karbautzki, Breiter, Marciniak & Ronka 2013: 28), doch kann in Vorbereitung auf die Entwicklung eines eigenen Rahmenmodells (Kapitel 7.1) auf einige Modelle und Theorieansatze zuruckgegriffen werden. Wie im Modell von Reusser skizziert (vgl. Abbildung 1), kann die Ruckmeldung der Ergebnisse aus der Uberprufung von Bildungsstandards als Feedback interpretiert werden, aus dem Qualitatsentwicklungen auf Schul- und Unterrichtsebene abgeleitet werden sollen.

Zusammenführung und Diskussion der empirischen Befunde

Nachfolgend sollen zur Beantwortung der formulierten Forschungsfragen die Ergebnisse der Fragbogenstudie und der vertiefenden Interviewstudie zusammengefuhrt werden. Einige Befunde der Fragebogenstudie lassen sich erst vor dem Hintergrund der vertiefenden Interviews deuten, in denen Grunde fur und gegen ein evidenzbasiertes Handeln von Akteuren in der Schulpraxis herausgearbeitet werden konnten.

Im Fokus: Schulen als institutionelle Akteure und die mögliche Bedeutung von Schulkultur für evidenzbasiertes Handeln

In seiner „Neuen Theorie der Schule“ beschreibt Fend (2006) das Bildungssystem als einen institutionellen Akteur, da „naturliche“ Personen im Rahmen normativer Vorgaben und inkorporierter Regelungen zur Erfullung eines von externen Akteuren vergebenen Auftrags „zusammenhandeln“ (Fend 2006: 171). Derartige institutionelle Akteure, in denen Entscheidungsinstanzen (Organe), Entscheidungsberechtigungen (Kompetenzen) und Entscheidungen (Verfahren) geregelt sind, entstehen durch Vergesellschaftung.

Evidenzbasiertes Handeln in der Schule – eine Eingrenzung

In Vorbereitung auf eine Arbeitsdefinition wird im folgenden Abschnitt zunachst evidenzbasiertes Wissen von anderen Wissensbestanden und Handlungsorientierungen abgegrenzt. Sodann wird der Versuch unternommen, fur schulische Akteure potentiell handlungsleitende Informationsquellen zu systematisieren.

Fazit, Ausblick und Implikationen

Im westeuropaischen und angloamerikanischen Raum ist ein weitgehender Konsens daruber zu beobachten, die Leistungsfahigkeit der jeweiligen Bildungssysteme durch eine starkere Evidenzbasierung erhohen zu wollen. Insbesondere den Instrumenten der sog. Neuen Steuerung wird zugesprochen, durch eine verstarkte Rechenschaftslegung sowie die Generierung und Ruckmeldung von Daten die Effektivitat und Effizienz des Schulsystems steigern zu konnen.

Befunde der Interviewstudie

Im Rahmen der Fragebogenerhebung konnte identifiziert werden, welche Informationsquellen von den befragten Schulleitungsmitgliedern und Lehrkraften als besonders nutzlich erachtet und welche vergleichsweise intensiv fur die eigene Arbeit genutzt werden. Die quantitativen Daten zeigen eine hohe Nutzung von internen, selbst durch die Schule bzw. durch einzelne Schulleitungsmitglieder oder Lehrkrafte generierten Informationen, wie bspw. kollegialen Unterrichtsentwicklungsmasnahmen oder Formen des Schulerfeedbacks.

Ergebnisse der Fragebogenstudie

Im Folgenden werden Ergebnisse der Fragebogenstudie dargestellt. Dazu werden zunachst deskriptive Befunde zur Evidenzbasierung der schulischen Akteure berichtet, bevor der Zusammenhang zwischen Schulkultur und evidenzbasiertem Handeln analysiert wird.

Theoretische Ansätze zur Erklärung der (Nicht-)Nutzung von Evidenzen

Die vergleichende Betrachtung der Modellansatze zur Datennutzung in Kapitel 3 hat gezeigt, dass es in den Modellen an theoretisch begrundeten und empirisch uberprufbaren Ursache-Wirkung-Zusammenhangen mangelt. Aus diesem Grunde werden in diesem Abschnitt Theorieansatze dargestellt, die geeignet erscheinen, das Verhalten schulischer Akteure zu erklaren und Hypothesen zur Nutzung respektive Nicht-Nutzung von evidenzbasierten Wissensbestanden ableiten zu konnen. Neben padagogischen Zugangen werden auch psychologische, soziologische und okonomische Ansatze einbezogen.

Entwicklung eines Rahmenmodells zum evidenzbasierten schulischen Handeln

Die bereits dargestellten theoretischen Ansatze und empirischen Befunde sollen im Folgenden in ein Arbeitsmodell zur Datennutzung in Schulen integriert werden (Abbildung 25). Zudem werden die forschungsleitenden Fragen weiter ausdifferenziert und empirisch uberprufbare Hypothesen abgeleitet.