Language
Country/Area
No result found
Der Mythos der Berechnung der Inhaltsvalidität: Warum ist Lawshes Formel so wichtig und faszinierend?
In der Psychometrie ist Inhaltsvalidität die Beurteilung, inwieweit ein Messinstrument alle Aspekte eines Konstrukts angemessen darstellt. Wenn eine Depressionsskala beispielsweise nur affektive Aspekte bewertet, Verhaltensaspekte jedoch außer Acht lässt, kann es sein, dass die Skala keine Inhaltsvalidität aufweist. Aufgrund der Subjektivität ist die Bestimmung der Inhaltsvalidität weniger eindeutig, da bestimmte Persönlichkeitsmerkmale, wie beispielsweise Extraversion, oft unterschiedlich interpretiert werden. Wenn es unter Experten Unterschiede im Verständnis eines Persönlichkeitsmerkmals gibt, wird es schwierig sein, eine hohe Inhaltsvalidität zu erreichen.
Die Inhaltsvalidität unterscheidet sich von der Augenscheinvalidität. Die Augenscheinvalidität beurteilt lediglich, ob ein Test gültig erscheint, spiegelt aber nicht tatsächlich wider, was er misst.
Bei der Augenscheinvalidität geht es darum, ob ein Test für Testteilnehmer, Administratoren und andere technisch unerfahrene Beobachter „funktioniert“. Wenn Kandidaten beispielsweise ein bestimmtes Material sehen, glauben sie dann, dass ihr Wissen oder ihre Fähigkeiten getestet werden? Im Gegensatz dazu erfordert die Inhaltsvalidität den Einsatz professioneller Inhaltsprüfer, um zu bewerten, ob die Testelemente den definierten Inhalt widerspiegeln. Zudem sind strengere statistische Tests als bei der Augenscheinvalidität erforderlich. Die Inhaltsvalidität wird häufig im Zusammenhang mit akademischen und beruflichen Tests erwähnt, da die Testaufgaben das für ein bestimmtes Berufsfeld (z. B. Geschichte) oder eine berufliche Fähigkeit (z. B. Buchhaltung) erforderliche Wissen widerspiegeln müssen. Im klinischen Umfeld bezieht sich die Inhaltsvalidität auf die Übereinstimmung zwischen Testelementen und Krankheitsinhalt.
Die von Lawshe vorgeschlagene Methode zur Messung der Inhaltsvalidität beurteilt in erster Linie den Grad der Übereinstimmung zwischen den Bewertern und wird auch heute noch häufig angewendet.
Eine berühmte Methode, die 1975 von Lawshe vorgeschlagen wurde, um die Ansichten von Gutachtern darüber einzuschätzen, ob ein Projekt „notwendig“ ist. Laut Lawshe beantwortet jeder Gutachter für jeden Testpunkt die Frage: „Ist die durch den Punkt gemessene Fähigkeit oder das Wissen ‚unverzichtbar‘, ‚nützlich, aber nicht unbedingt erforderlich‘ oder ‚unnötig‘?“ Wenn mehr als die Hälfte der Gutachter der Meinung ist, dass ein Punkt unverzichtbar ist, dann hat der Punkt zumindest ein gewisses Maß an inhaltlicher Gültigkeit. Je mehr Gutachter der Notwendigkeit eines Artikels zustimmen, desto höher ist der Grad der Inhaltsvalidität. Daher entwickelte Lawshe eine Formel namens „Content Validity Ratio“.
Das Inhaltsvaliditätsverhältnis wird zwischen +1 und -1 berechnet, wobei positive Werte darauf hinweisen, dass mindestens die Hälfte der Fachgutachter den Artikel für erforderlich hält.
Bei der weiteren Untersuchung von Lawshes Methode stellten die Wissenschaftler fest, dass bei der Einbeziehung von acht Gutachtern einige ungewöhnliche Abweichungen in der erforderlichen Mindestzahl an Inhaltsvalidität vorliegen. Dieses Phänomen erregte die Aufmerksamkeit von Wissenschaftlern wie Wilson, Pan und Schumsky, die 2012 eine Neubewertung dieser Werte vorschlugen. Durch einen Vergleich der von ihnen berechneten Binomialverteilungswerte mit den Werten von Schipper stellten die Wissenschaftler fest, dass die von Lawshe und Schipper markierte Tabelle tatsächlich das Ergebnis eines zweiseitigen Tests war, jedoch fälschlicherweise als einseitiger Test gekennzeichnet war, was zu Verwirrung hinsichtlich der ursprünglichen Werte führte. Solche Fehler führen dazu, dass die kritischen Werte der Inhaltsvaliditätsverhältnisse inkonsistent sind, wenn sie mit unterschiedlichen Anzahlen von Gutachtern berechnet werden.
Daher ist eine Neubewertung der Inhaltsvaliditätsverhältnisse von entscheidender Bedeutung. Dieser Neuberechnungsprozess liefert wertvolle Informationen, die es uns ermöglichen, die Bedeutung und Auswirkung der Inhaltsvalidität in einem neuen Verständnisrahmen zu untersuchen. Diese Studienreihe deckt nicht nur mögliche Verzerrungen bei der Testgestaltung und -auswertung auf, sondern regt die wissenschaftliche Gemeinschaft auch dazu an, über die Zuverlässigkeit und Validität von Inhaltsmessungen nachzudenken.
Von der Theorie zur Praxis: Lawshes Inhaltsvaliditätsverhältnis ist nicht nur eine Reihe von Zahlen, sondern auch eine Garantie dafür, dass der von uns verwendete Test die Persönlichkeitsmerkmale oder Verhaltensstandards, die uns wichtig sind, wirklich widerspiegeln kann.
Bei der Diskussion der Frage der Inhaltsvalidität müssen wir uns zwangsläufig fragen: Wie können wir ein Gleichgewicht zwischen Subjektivität und Objektivität finden und so unser Vertrauen in die Testergebnisse verbessern?
