Henk van Berkel

Motivation To Commit Oneself as a Determinant of Achievement in Problem-Based Learning.

Problem-based learning is a constructivist approach to professional education stressing the use of real life problems in education. Several previous attempts to understand the intricacies of learning in the problem-based context have led to a causal model, elements of which were tested in the present study. The focus of the investigation was on the students’ motivation to commit themselves to studying in a problem-based health sciences curriculum, expressed in term of levels of attendance at tutorial meetings. Data were collected regarding functioning of the tutorial group, tutor functioning, level of prior knowledge, quality of the instructional problems, time spent on individual study, academic achievement and increased interest. These data were analyzed using a structural equations modeling approach. As hypothesized, commitment appears to be a potent determinant of achievement. In fact, it represents one of the strongest determinants of learning in the model tested.

Toetsen in het hoger onderwijs

Dit boek geeft een breed overzicht van toets- en beoordelingsvormen in het hoger onderwijs. Ook beschrijft het verschillende aspecten van toetsen en het toetsproces. Het boek geeft handreikingen en praktijkvoorbeelden. Daarmee is het een praktische en inspirerende informatiebron voor opleidingen, examencommissies, toetscommissies en (aankomende) docenten. In deze vierde druk staan nieuwe hoofdstukken over onder meer de kwaliteitspiramide, het samenwerken bij toetsontwikkeling, het toetsen van creativiteit en over de rechtsbescherming van examinandi. De hoofdstukken over digitaal toetsen en ervaringscertificaten (EVC) zijn herschreven. Bijvoorbeeld met extra informatie over flexibel onderwijs. In ieder hoofdstuk is veel aandacht voor de rol van de docent. Toetsen in het hoger onderwijs kan gebruikt worden om een goed toetsbeleid op te zetten en uit te voeren. Daarmee is het geschikt om het certificaat Basiskwalificatie Examinering (BKE) en het Seniorkwalificatie Examinering (SKE) te behalen. Het boek is toegankelijk en daarom ook goed bruikbaar voor toetsconstructie in het voortgezet onderwijs en middelbaar beroepsonderwijs.

Can students adequately evaluate the activities of their peers in PBL

Background: In problem-based learning (PBL), high-quality discussions are crucial for student learning. The quality of the discussion is affected by the quality of the contributions students make during PBL tutorials. Aim: This study investigated whether students are able to evaluate the activities of their peers in PBL groups in a reliable and valid way. Method: For this purpose, the Maastricht-Peer Activity Rating Scale (M-PARS) was developed. The M-PARS was well-founded on the literature about effective tutorial performance. With this scale, students (N = 196) were evaluated by their peers on three main aspects: their constructive, collaborative, and motivational contributions to the group. Results: A confirmatory factor analysis demonstrated that the data fitted the three-factor model reasonably well. The generalizability studies demonstrated good internal consistency when students were evaluated by, at least, four of their peers. Furthermore, Hancocks coefficients indicated good construct reliability. Conclusions: The results prove that peers are able to provide reliable and valid information about a students active participation in the tutorial group, if at least four peer ratings are attainable, out of a group of eight students. In conclusion, the M-PARS is a valid and reliable instrument.

Assessment in a problem-based medical curriculum

The problem-based learning curriculum differs from a conventional curriculum with regard to the cumulation of achieved knowledge. Instead of successively ordered topics, the student must learn to solve problems which are related to several topics. It is assumed that by the end of the course the student has mastered the intended goals. Comparisons of problem-based and conventional curricula regarding academic achievement show that differences between curricula-outcomes are very small, if there are any differences at all (Schmidt et al., 1987). But summative evaluation is not enough. The student and the institute are interested also in the growth of the student during the course. For this purpose a progress test is used.The aim of this paper is to describe how a problem-based curriculum is evaluated. It accents the progress test.

Reliability and validity of a Tutorial Group Effectiveness Instrument

Background: Tutorial group effectiveness is essential for the success of learning in problem-based learning (PBL). Less effective and dysfunctional groups compromise the quality of students learning in PBL. Aims: This article aims to report on the reliability and validity of an instrument aimed at measuring tutorial group effectiveness in PBL. Method: The items within the instrument are clustered around motivational and cognitive factors based on Slavins theoretical framework. A confirmatory factor analysis (CFA) was carried out to estimate the validity of the instrument. Furthermore, generalizability studies were conducted and alpha coefficients were computed to determine the reliability and homogeneity of each factor. Results: The CFA indicated that a three-factor model comprising 19 items showed a good fit with the data. Alpha coefficients per factor were high. The findings of the generalizability studies indicated that at least 9–10 student responses are needed in order to obtain reliable data at the tutorial group level. Conclusion: The instrument validated in this study has the potential to provide faculty and students with diagnostic information and feedback about student behaviors that enhance and hinder tutorial group effectiveness.

Superficial and deep learning approaches among medical students in an interdisciplinary integrated curriculum

Introduction: Students′ learning approaches have a significant impact on the success of the educational experience, and a mismatch between instructional methods and the learning approach is very likely to create an obstacle to learning. Educational institutes′ understanding of students′ learning approaches allows those institutes to introduce changes in their curriculum content, instructional format, and assessment methods that will allow students to adopt deep learning techniques and critical thinking. The objective of this study was to determine and compare learning approaches among medical students following an interdisciplinary integrated curriculum. Methods: This was a cross-sectional study in which an electronic questionnaire using the Biggs two-factor Study Process Questionnaire (SPQ) with 20 questions was administered. Results: Of a total of 402 students at the medical school, 214 (53.2%) completed the questionnaire. There was a significant difference in the mean score of superficial approach, motive and strategy between students in the six medical school years. However, no significant difference was observed in the mean score of deep approach, motive and strategy. The mean score for years 1 and 2 showed a significantly higher surface approach, surface motive and surface strategy when compared with students in years 4-6 in medical school. Discussion: The superficial approach to learning was mostly preferred among first and second year medical students, and the least preferred among students in the final clinical years. These results may be useful in creating future teaching, learning and assessment strategies aiming to enhance a deep learning approach among medical students. Future studies are needed to investigate the reason for the preferred superficial approach among medical students in their early years of study.

Toetsen: toetssteen of dobbelsteen

Inleiding Hoe kunnen docenten rechtvaardig toetsen? Hoe is onderscheid te maken tussen studenten die de stof wel en niet beheersen? Hoe kan een toets representatief worden samengesteld? Wat betekenen de begrippen validiteit, betrouwbaarheid, objectiviteit en transparantie? Wat is een psychometrische analyse? Hoe is de betrouwbaarheid van de toets te berekenen? En hoe hoog moet deze zijn? Hoe is een toets na afname nog te verbeteren?

Het toetsproces ontleed.

Een toets is meer dan een verzameling toetsvragen. Het construeren van een toets maakt deel uit van een toetsproces dat verschillende stappen bevat. Om een kwalitatief goed te toetsen dienen alle stappen zorgvuldig te worden doorlopen. In dit hoofdstuk staan de elf stappen van het toetsproces beschreven, van het formuleren van de toetsdoelen (op basis waarvan onder andere de toetsvorm wordt gekozen) tot en met het nemen van beslissingen ten aanzien van de toetsuitslag. Daarnaast besteedt het hoofdstuk ook aandacht aan het belang van een specificatietabel op basis waarvan een docent een toets moet samenstellen. Een specificatietabel bevat in zijn simpelste vorm de belangrijkste onderwerpen uit het studieonderdeel en het aantal vragen dat erover wordt gesteld. Raadzaam is de specificatietabel te ‘verrijken’ met een derde dimensie: het cognitieve niveau.

Toetsen en de rechtsbescherming van examinandi

In een rechtstaat hebben burgers in beginsel de mogelijkheid om een op hen betrekking hebbend besluit waarmee zij het oneens is, op een juridische wijze aan te vechten. Dat recht hebben studenten die een toets afleggen ook. Studenten kunnen in beroep gaan bij het College van Beroep voor de Examens (CBE). Het CBE beoordeelt de beroepen marginaal. Dat wil zeggen, het CBE gaat uit van de deskundigheid van de examinator en zal bij haar uitspraken niet gaan zitten op de stoel van de examinator. Het CBE buigt zich daarom niet over de inhoud van het geschil, maar gaat na of de examinator in redelijkheid tot de beoordeling heeft kunnen komen. Deze haar bij wet gegeven rolopvatting leidt ertoe dat in de meerderheid van de uitspraken van het CBE de student in het ongelijk wordt gesteld. Dat geldt ook voor uitspraken van het hoger beroepsorgaan, het CBHO. Die beoordeelt ook niet inhoudelijk en respecteert in beginsel het besluit van het CBE, tenzij in redelijkheid het CBE niet tot het besluit had kunnen komen. Studenten gaan vooral in beroep tegen beslissingen van de examencommissie die de volgende onderwerpen betreffen: beoordelingen over de geleverde prestatie, fraude (waaronder plagiaat), de geldigheidduur van toetsen, de toelating tot het onderwijs en het bindend studieadvies.

Het meten van toetskwaliteit

Elke toets met open of gesloten vragen moet voldoen aan een aantal kwaliteitseisen. Voorafgaande aan de toetsafname is het bereiken van kwaliteit het best te garanderen door de vragen zorgvuldig te construeren en door mededeskundigen te laten beoordelen, door de toets samen te stellen met gebruikmaking van een specificatietabel en door voldoende vragen in de toets op te nemen. Een aantal van die eisen is, na de toetsafname, in een getal uit te drukken. De belangrijkste indicatoren voor de toetskwaliteit zijn, naast de inhoudsvaliditeit/representativiteit, de p-waarde (vraagmoeilijkheid), de Rit (onderscheidingsvermogen) en de Cronbachs alfa (betrouwbaarheid). Voor deze indicatoren bestaan normwaarden. Indien die normwaarden niet worden bereikt, zullen, zo mogelijk, maatregelen moeten worden genomen om de kwaliteit van de toets te verhogen. Hiermee is bereikt dat de toets geen dobbelsteen maar een toetssteen is.