A. Bax

Toetsen: toetssteen of dobbelsteen

Inleiding Hoe kunnen docenten rechtvaardig toetsen? Hoe is onderscheid te maken tussen studenten die de stof wel en niet beheersen? Hoe kan een toets representatief worden samengesteld? Wat betekenen de begrippen validiteit, betrouwbaarheid, objectiviteit en transparantie? Wat is een psychometrische analyse? Hoe is de betrouwbaarheid van de toets te berekenen? En hoe hoog moet deze zijn? Hoe is een toets na afname nog te verbeteren?

Het meten van toetskwaliteit

Elke toets met open of gesloten vragen moet voldoen aan een aantal kwaliteitseisen. Voorafgaande aan de toetsafname is het bereiken van kwaliteit het best te garanderen door de vragen zorgvuldig te construeren en door mededeskundigen te laten beoordelen, door de toets samen te stellen met gebruikmaking van een specificatietabel en door voldoende vragen in de toets op te nemen. Een aantal van die eisen is, na de toetsafname, in een getal uit te drukken. De belangrijkste indicatoren voor de toetskwaliteit zijn, naast de inhoudsvaliditeit/representativiteit, de p-waarde (vraagmoeilijkheid), de Rit (onderscheidingsvermogen) en de Cronbachs alfa (betrouwbaarheid). Voor deze indicatoren bestaan normwaarden. Indien die normwaarden niet worden bereikt, zullen, zo mogelijk, maatregelen moeten worden genomen om de kwaliteit van de toets te verhogen. Hiermee is bereikt dat de toets geen dobbelsteen maar een toetssteen is.

Toetsen met gesloten vragen

Gesloten toetsvragen, vragen die studenten beantwoorden door het aankruisen van een of meer alternatieven (er bestaan veel varianten), zijn populair, ook in het hoger onderwijs. Ze worden ingezet wanneer een grote groep studenten moet worden getoetst. De populariteit van dit soort vraag loopt echter niet gelijk op met de appreciatie ervan. Er bestaat scepsis of je met dit type toetsvragen ‘meer’ kunt toetsen dan feitenkennis. Die scepsis is onterecht. In dit hoofdstuk staan handreikingen voor docenten om ervoor te zorgen dat een gesloten toetsvraag wel degelijk kan worden gebruikt om hogere cognitieve vaardigheden te meten. Maar dan moet de toetsvraag wel zorgvuldig worden geconstrueerd. In dit hoofdstuk staat ook een checklist aan de hand waarvan een docent kan nagaan of de formulering van de geconstrueerde gesloten vraag voldoet aan vormtechnische vereiste. Er is een relatie tussen het aantal (gesloten) toetsvragen en de betrouwbaarheid; in het algemeen geldt: hoe meer vragen hoe beter. Maar in praktijk is er een limiet, gegeven de tijd die studenten hebben om de toets te maken.