Language
Country/Area
No result found
Der Wandel der psychologischen Messung: Theorie und Praxis hinter CCT, was Sie unbedingt wissen wollen!
Mit der Entwicklung von Wissenschaft und Technologie werden traditionelle psychologische Messmethoden durch neue Technologien ersetzt. Computergestützte Klassifizierungstests (CCT) gewinnen als neues Bewertungssystem zunehmend an Bedeutung. Es vereinfacht nicht nur den Testprozess, sondern verbessert auch die Genauigkeit und Effizienz des Tests. Also, wie funktioniert CCT? Welche Theorien und Praktiken verbergen sich dahinter?
Ein computergestützter kategorisierter Test ist ein computerbasiertes Bewertungssystem zur Kategorisierung von Kandidaten.
So funktioniert es
CCT funktioniert ähnlich wie computergestütztes adaptives Testen (CAT), bei dem den Kandidaten nacheinander Fragen vorgelegt werden und der Computer nach Beantwortung jeder Frage diese sofort bewertet und beurteilt, ob der Kandidat eingestuft wurde. Ist dies der Fall, wird der Test abgebrochen und der Kandidat eingestuft, ist dies nicht der Fall, wird die nächste Frage angeboten. Dieser Vorgang wird wiederholt, bis der Kandidat sortiert ist oder andere Endkriterien erfüllt sind (z. B. alle Fragen beantwortet wurden oder die Testlängenbeschränkung erreicht wurde).
Psychometrisches Modell
Es gibt zwei Haupttypen psychometrischer Modelle für CCT: die klassische Testtheorie (CTT) und die Item-Response-Theorie (IRT). Ersteres klassifiziert Kandidaten in einer bestimmten Stichprobe und ermittelt den Schwierigkeitsgrad und die Trennschärfe jeder Frage anhand unterschiedlicher Kandidatengruppen, stellt jedoch hohe Anforderungen an die Kandidatenauswahl. Im Gegensatz dazu geht das IRT davon aus, dass die Fähigkeit kontinuierlich ist und die Klassifizierungskriterien zwar vage, aber präziser sind. Bei der Wahl zwischen diesen beiden Ansätzen sind unterschiedliche Überlegungen anzustellen: CTT bietet konzeptionelle Einfachheit und IRT bietet eine höhere Spezifität, wenn die Ressourcen ausreichend sind.
Obwohl CTT relativ einfach ist, kann es bei der Kalibrierung von Testparametern für kleine Testpläne effizienter sein.
Ausgangspunkt
CCT muss auf einen bestimmten Startpunkt eingestellt werden, um einen bestimmten Algorithmus auszuführen. Wenn Sie den sequentiellen Wahrscheinlichkeitsverhältnistest als Abbruchkriterium verwenden, beträgt das Standardstartverhältnis 1,0. Wenn Sie die Konfidenzintervallmethode verwenden, müssen Sie den Startpunkt angeben. Normalerweise liegt ein solcher Startpunkt bei 0,0 und gibt damit die Mitte der Verteilung an. Es ist jedoch auch möglich, den Startpunkt basierend auf den historischen Daten des Kandidaten festzulegen.
Themenauswahl
Beim CCT ist die Auswahl der Fragen flexibel. Im Vergleich zur traditionellen Methode, bei der für alle Kandidaten feste Fragensätze verwendet werden, können die Fragen entsprechend der Leistung der Kandidaten kontinuierlich angepasst werden. Methoden zur Fragenauswahl können im Wesentlichen in zwei Kategorien unterteilt werden: Auswahl auf Basis der Cut-off-Punktzahl und Auswahl auf Basis von Schätzungen. Bei der ersten Methode werden die bereitgestellten Informationen rund um die Mindestpunktzahl maximiert, während bei der zweiten Methode Entscheidungen auf der Grundlage aktueller Einschätzungen der Fähigkeiten des Prüflings getroffen werden. Die Effizienz dieser beiden Entscheidungen hängt dabei von den verwendeten Abbruchkriterien ab.
Eine rechtzeitige Fragenauswahl hat, abhängig von den verwendeten Abbruchkriterien, unmittelbare Auswirkungen auf den Prüfungserfolg.
Kündigungskriterien
Es gibt drei Abbruchkriterien, die bei CCT häufig verwendet werden: Bayesianische Entscheidungstheorie, Konfidenzintervallmethode und Sequenz-Wahrscheinlichkeitsverhältnistest. Jede dieser Methoden hat ihre eigenen Vor- und Nachteile und bietet ein unterschiedliches Maß an Flexibilität und Genauigkeit, kann aber auch zu unnötiger Subjektivität führen. Beim Konfidenzintervallverfahren hat die aktuelle Fähigkeitseinschätzung des Probanden unmittelbaren Einfluss auf das Ergebnis der Klassifizierung, während beim sequentiellen Wahrscheinlichkeitsquotiententest die Klassifizierung in Form eines Hypothesentests erfolgt.
Fazit
Mit der Zeit wird mit der CCT nicht nur ein effizienter Prüfungsstandard geschaffen, sondern sie hat auch einen tiefgreifenden Einfluss auf die Zukunft des Bereichs der Psychometrie. Da sich die praktischen Anwendungen immer weiter ausweiten, stellt sich die Frage, wie sich dies in Zukunft auf unsere Testmethoden und das Verständnis der Menschen für die Leistungsbeurteilung auswirken wird. Darüber sollten wir alle nachdenken.
