Christiane Kuhn

The international state of research on measurement of competency in higher education

With the Program for International Student Assessment and Trends in International Mathematics and Science Study surveys, competency assessment became an important policy instrument in the school sector; only recently has international competency measurement gained attention in higher education with the Assessment of Higher Education Learning Outcomes (AHELO) feasibility study. As AHELO showed, measurement of competencies in higher education is a complex and multidimensional task, which poses great methodological challenges. These challenges arise out of the high diversity of degree courses, study programs, and institutions of higher education. Nevertheless, we need to address these challenges immediately if we aim to create evidence-based high-quality educational systems. This paper overviews the field of international research on competency measurement in higher education. Our analyses revealed a substantial lack of research in this area. Nonetheless, existing studies and assessment practices in various countries provide orientation on how to model competencies based on curricular and professional requirements, design assessments following the assessment triangle, and validate them comprehensively.

Modeling and Measuring Competencies in Higher Education

Measuring competencies acquired in higher education has to be regarded as a widely neglected research field. The progress made in empirical research on the school system since the 1990s – for example, through large-scale assessments such as the Trends in International Mathematics and Science Study (TIMSS) and the Programme for International Student Assessment (PISA) and through a massive expansion of instructional research in general – has revealed that nothing comparable exists at the higher education level.

Modeling and Measuring University Students’ Subject-Specific Competencies in the Domain of Business and Economics – The ILLEV Project

Current research provides very little empirical evidence regarding the influence of academic higher education on the development of professionalism among students. Over the course of the reform of the higher education systems in Europe (Bologna declaration) this issue has become increasingly important.

Konstruktion, Implementation und Evaluation eines multimedialen Assessmenttools in der wirtschaftspädagogischen Ausbildung

Im Kontext der Outputorientierung im Bildungssystem gerat die Forderung handlungsbezogener Kompetenzen zunehmend in den Fokus der Lehrerausbildung und Forschung. Kompetenzorientierung verlangt nach einer Konvergenz von Curriculum, Instruktion und Assessment. Der vorliegende Beitrag analysiert die curriculare Verankerung der Forderung handlungsbezogener Kompetenzen innerhalb der wirtschaftspadagogischen Studiengange und stellt ein innovatives Lehr- und Assessmentkonzept vor, das im instruktionalen Kontext auch als komplexes Assessmenttool zur gezielten Forderung solcher (bisher vernachlassigten) Kompetenzfacetten in der wirtschaftspadagogischen Ausbildung implementiert und evaluiert werden soll. Dabei werden insbesondere die, fur ein erfolgreiches Unterrichten im kaufmannischen-verwaltenden Bereich, erforderlichen aktionsbezogenen (AC) und reflexiven (RC) Kompetenzen mittels eines videobasierten Tools (mit Speedbedingungen und naturlichen Antwortformaten) fokussiert und mogliche Anwendungsbereiche kritisch diskutiert.

Überblick zu nationalen und internationalen Assessments

Zur begrifflichen und konzeptionellen Prazisierung dessen, was unter akademischen Lernergebnissen zu verstehen sei, finden sich – weltweit betrachtet – die meisten Initiativen in OECD-Landern. Solche Definitionen werden nicht nur als Orientierungsrahmen bei Akkreditierungen von Studiengangen und Hochschulen genutzt, sondern bilden in einigen Landern auch eine Basis bei der Entwicklung von Assessmentverfahren. Im vorliegenden Kontext sollen einige zentrale Entwicklungen und Projekte aus diesem Bereich skizziert werden.

Konzeptioneller und methodischer Rahmen zur Analyse des Forschungsstandes

Die vorliegende Forschungssynthese dokumentiert den Stand der nationalen und internationalen Forschung zur Erfassung von akademisch vermittelten Kompetenzen bei Studierenden und Hochschulabsolventen fur die Jahre 2010 bis 2014. Zu seiner Erstellung wurde im Sommer/Herbst 2014 – Winter 2015 eine breit angelegte Dokumentenanalyse durch Literatur- und Datenbankrecherchen (inkl. qualitativen Inhaltsanalysen) durchgefuhrt. Um eine systematische Vorgehensweise zu gewahrleisten, wurde der Recherche eine Auswahl von national und international relevanten hochschul- und bildungsforschungsspezifischen sowie disziplinubergreifenden Literatur- und Projektdatenbanken zugrunde gelegt; auf nationaler Ebene z.B. Fachinformationssystem Bildung (FIS Bildung), die Literaturdatenbank des Deutschen Instituts fur Internationale Padagogische Forschung (DIPF), auf internationaler Ebene z.B. die Education Resources Information Center (ERIC)- Literaturdatenbank des US-amerikanischen Institute of Education Sciences (IES).

Implikationen für die weitere Forschung

Der hier vorgelegte Uberblick zum nationalen und internationalen Forschungsstand im Bereich der Messung akademisch vermittelter Kompetenzen von Studierenden und Hochschulabsolventen belegt, dass Bedarf und Bedeutung dieses Forschungsfeldes vielerorts inzwischen erkannt wurden. Die bisher in Deutschland vor allem im Rahmen des KoKoHs-Programms (s. Tabelle 2c) entwickelten und erprobten Kompetenzmodelle und Assessmentdesigns sowie die zugehorigen Messinstrumente liefern eine Grundlage, um dieses Feld auf nationaler Ebene systematisch weiter auszubauen. Es wird zukunftig darum gehen, insbesondere langsschnittlich angelegte, mehrere Ebenen umfassende Ansatze zu verfolgen, die durch (feld-)experimentelle Interventions- und Validierungsstudien erganzt werden. In weiterfuhrenden Forschungsarbeiten wird es ein wesentlicher Fokus sein, die Bedingungen (z.B. Strukturmerkmale von Hochschulinstitutionen, Indikatoren der Prozessqualitat) fur Unterschiede im Kompetenzerwerb und der Kompetenzentwicklung zu identifizieren. Konkret waren vor dem Hintergrund des in diesem systematischen Review skizzierten nationalen und internationalen Forschungsstands Fragen zu bearbeiten, wie Vorhersagen des Studienverlaufs- und Abschlusserfolgs gelingen konnen und welche zusatzlichen Kompetenzen oder Merkmale in diesem Kontext hierbei eine Rolle spielen. Auch ist zu untersuchen, inwieweit innovative (z.B. adaptive computergestutzte) Messansatze einen uber die bisherigen Testverfahren hinausgehenden Mehrwert liefern konnen.