Meerkeuze opnieuw uitgevonden
Uit Anderwijz
Multiple choice (MC) is een veelgebruikte methode om tentamens af te nemen. Zeker bij grote studentenaantallen is het voordeel voor de docent duidelijk. Maar MC zet niet echt aan tot goed studeren. De veelbelovende Multiple Evaluation methode biedt hiervoor een oplossing.
/ Zo kan het ook / Tekst Joeri Oudshoorn / Beeld Robbert Zijp /
Bij docenten van grote opleidingen zijn multiple choice tentamens populair. Met multiple choice tentamens is het mogelijk om tentamens snel door een computer na te laten kijken. De voorbereiding vraagt meer tijd, maar als het om grote aantallen studenten gaat is er in de nakijktijd veel meer tijd te winnen.
Daar staat tegenover dat studenten voor een multiple choice tentamen vaak selectief leren. Ze willen de klok horen luiden, maar waar de klepel hangt, dat is voor multiple choice vaak minder belangrijk. Inzichtvragen zijn ook moeilijk te toetsen. Wanneer je het niet weet, is er nog altijd de kans om toevallig het juiste antwoord te kiezen. Niet erg stimulerend dus.
Inhoud |
Diagnostische toets
Arie Dirkzwager, Emeritus Hoogleraar aan de Universiteit van Twente, heeft daarop iets gevonden. Zijn multiple choice tentamen vraagt meer inzicht en doet een beroep op de zelfkennis van de student. Het voordeel van een korte nakijktijd blijft gelijk, veel nadelen verdwijnen. Eigenlijk gaat het niet om een tentamen, maar om een diagnostische toets. De naam: Multiple Evaluation.
Wat is er dan zo bijzonder aan die toets van Arie Dirkzwager? Hij vraagt niet aan de studenten welk antwoord juist is (dat is er natuurlijk maar een). Hij vraagt studenten in te schatten hoe zeker ze ervan zijn dat een bepaald antwoord juist is. En dat leidt tot veel dieper inzicht in de tentamenresultaten.
Een voorbeeld:
Parijs is de hoofdstad van:
- Europa
- Duitsland
- Spanje
- Frankrijk
Als je zeker weet dat het juiste antwoord Frankrijk is, dan is er geen verschil. Je kiest in het oude systeem D, in het nieuwe 100% D. Maar twijfel je, dan ontstaat een nieuwe situatie.
Wie twijfelt tussen Duitsland en Frankrijk, heeft in een normale toets 50% kans op een goede score. Door deze vraag te middelen met verschillende andere vragen, kan deze onzekerheid verkleind worden. Bij andere vragen is er immers een zelfde soort kansverdeling, dus zal een student bij alle vragen rond dit thema met een gemiddelde van 50% goed scoren. Hoe meer vragen, hoe kleiner de kans dat de student steeds pech heeft bij zijn gokje.
Fouten afstraffen
Arie Dirkzwager doet het anders. Hij stelt dat een student die niet zeker is van het goede antwoord, aan moet geven hoe waarschijnlijk hij een antwoord vindt. Een student die dus wel weet dat Parijs zeker niet de hoofdstad van Europa is, vult bij A 0% in. B en D krijgen in dit voorbeeld ieder 50% en voor C is dan 0% over.
Een student die steeds twee antwoorden even hoog waardeert kan geen hoog cijfer halen. Wel kan hij zich indekken tegen foute antwoorden. Als je werkelijk geen idee hebt, geef je alle alternatieven 25%. Daarmee is natuurlijk geen punt te winnen. Maar als je andere vragen wel trefzeker en goed beantwoordt doet die vraag je ook geen grote schade toe. Foute antwoorden worden door Dirkzwager dan ook keihard afgestraft. Zeker weten dat iets juist is terwijl het helemaal niet klopt, daar kom je niet meer mee weg. Je kunt er zelfs een hoge negatieve score voor krijgen.
Praktijksituatie
Niet alleen kun je op deze manier de toetsvorm verbeteren, ook is het mogelijk om meer recht te doen aan een praktijksituatie. Een accountant of arts die niet zeker is van zijn zaak, zal in de praktijk nog even de boeken erop naslaan. Dat is niet zo’n ramp. Maar wanneer een professional zeker denkt te weten dat iets juist is, wordt die check nagelaten. Dan kunnen de gevolgen enorm zijn.
Multiple Evaluation behandelt kennis niet als een eendimensionaal feit. Kennis wordt in dit systeem gecombineerd met zelfkennis over die kennis. De meta-cognitieve (meta-cognitief) vaardigheid je eigen kunnen goed in te schatten is essentieel. De kracht van het systeem zit hem erin dat deze tentamenmethode die zelfkennis meeneemt.
Toepassingen
De toets van Dirkzwager is op vele manieren te gebruiken. Multiple Evaluation kan worden gebruikt voor tentamens, tussentoetsen en toetsen met een diagnostische doelstelling.
MULTIPLE EVALUATION MAAKT HET MOGELIJK ZELFKENNIS EN KENNIS TE COMBINEREN.
Arie Dirkzwager liet voor het uitvoeren van Multiple Evaluation het programma Testbet ontwikkelen. Met dit programma kan een computer de toets afnemen en de score berekenen. Het theoretische concept werd al in de jaren zestig door E.H. Shuford bedacht, maar de rekencapaciteit om antwoorden te verwerken was toen nog veel te duur voor een praktische toepassing. Inmiddels kan elke huis-tuin-en-keuken pc die berekeningen zonder meer aan.
Trainen
Vanzelfsprekend kun je niet zomaar studenten met dit nieuwe systeem laten werken. Ze zullen eerst getraind moeten worden om met Multiple Evaluation om te gaan. Bij elk antwoord moeten ze immers ook hun eigen inschatting van de kennis of inzichten maken. Dat lukt niet meteen. Onderzoek heeft aangetoond dat kinderen vanaf 11 jaar na enige oefening prima met Multiple Evaluation kunnen werken.
Daar staat tegenover dat het systeem uitermate geschikt is om de docent informatie over de prestaties van de student te geven. Wie enkele keren trefzeker op een onderwerp fout zit, heeft een misconceptie die vervolgens aandacht kan krijgen. Zulke informatie is normaal alleen uit open vragen te halen, die weer veel arbeidsintensiever zijn. Het is ook mogelijk om studenten die zakken voor een tentamen alleen die stof opnieuw aan te bieden die ze niet beheersen.
Niet alleen de student zelf kan er beter mee beoordeeld worden, ook het onderwijs dat is gegeven. Wanneer een groep studenten bij het tentamen een misconceptie blijkt te hebben, kan daar in een volgend college of in hetzelfde college voor een volgend jaar extra aandacht aan worden besteed.
Multiple Evaluation in de praktijk
Net als bij Multiple choice moet ook bij Multiple Evaluation veel aandacht worden besteed aan de formulering van de vragen. Eén foutje kan de vraag dubbelzinnig en daardoor onbruikbaar maken. Anderwijz stelde twee voorbeeldvragen op ter illustratie.
De onderstaande vierkeuzevraag stelt het inzicht van de student op de proef. De score bij verschillende antwoorden is niet op papier te geven, daarvoor is een computer nodig.
De vraag luidt:
Een negatieve score bij Multiple Evaluation is het gevolg van
a ... % Gebrek aan kennis over een onderwerp
b ... % Gebrek aan kennis over een onderwerp gecombineerd met zelfoverschatting
c ... % Gebrek aan kennis over een onderwerp gecombineerd met zelfonderschatting
d ... % Zelfonderschatting gecombineerd met voldoende kennis over een onderwerp
Geef van elk alternatief aan hoe groot de kans is dat dit het juiste alternatief is.
Voor bovenstaande vierkeuzevraag is computerberekening noodzakelijk. Wanneer een stelling als juist of onjuist moet worden beoordeeld, kan ook de score eenvoudig op papier worden vermeld. Hieronder een voorbeeld:
Stelling:
“Het Multiple Evaluation programma Testbet is ontworpen onder leiding van Arie Dirkzwager.”
Geef aan hoe groot de kans is dat deze stelling juist is door het omcirkelen van een van de letters (alternatieven).
Kans op juist: 0% 2% 5% 13% 36% 50% 64% 87% 95% 98% 100% op onjuist: 100% 98% 95% 87% 64% 50% 36% 13% 5% 2% 0% Punten als a b c d e f g h i j juist: –500 –50 –30 –10 –1 +1 +6 +9 +10 +20 onjuist: +20 +10 +9 +6 +1 –1 –10 –30 –50 –500
De punten van verschillende vragen worden opgeteld om de totale score te berekenen. Deze wordt vervolgens omgerekend in een cijfer.
