Toetsen worden voornamelijk afgenomen om de kennis van kandidaten te meten. In hoeverre beheersen ze de stof en op welk niveau? Hoe heeft de groep het gedaan in vergelijking met andere groepen of eerdere jaren? Niet alleen de kennis van de kandidaten wordt gemeten – eigenlijk wordt ook de toets zelf ‘getoetst’.
Persoonlijk vind ik dit een van de interessantste stappen in de toetscyclus: hoewel je vooraf aan de afname veel kunt doen om een valide en betrouwbare toets neer te zetten, kun je pas achteraf echt vaststellen of dat gelukt is. Er zijn waarschijnlijk altijd wel een paar vragen die een ander resultaat laten zien dan vooraf verwacht. Zeker bij voldoende afnames is het goed om, de vragen en de toets als geheel, te bekijken. Waar ligt het aan dat een vraag door zoveel kandidaten zo slecht is gemaakt? Was de vraag onjuist? Was de formulering niet eenduidig? Werd er eigenlijk andere kennis bevraagd? Of is de bevraagde kennis niet, of niet op het juiste toepassingsniveau, aan bod gekomen tijdens het onderwijs?
Wordt er tijd genomen om de toets te evalueren, verbeterpunten te signaleren en die verbeteringen daadwerkelijk door te voeren, zodat de volgende groep kandidaten een nog betere toets maakt? Pas dan is de cirkel van de toetscyclus rond.
In een digitaal toetssysteem is er vrijwel direct statistische data beschikbaar voor de analyse wanneer de resultaten van een toets binnen zijn, zowel op vraag- als op toetsniveau. Deze gegevens zeggen iets over de toets en de onderliggende vragen, maar je zult ze altijd nader moeten bekijken om te begrijpen wat ze in de context van de toets betekenen.
Op toetsniveau kijk je onder meer naar het gemiddelde en de spreiding van de resultaten. Vervolgens is Cronbach's alpha de bekendste maat voor de betrouwbaarheid van de toets: het meet de interne consistentie ervan. Een hoge score geeft aan dat de vragen in de toets samenhangen en een betrouwbaar resultaat opleveren; bij een lage score kan er eigenlijk niet goed worden vastgesteld of het resultaat daadwerkelijk iets zegt over de beheersing van de leerstof door de kandidaten.
Waar je wel op moet letten is dat de Chronbach’s alpha vrijwel automatisch oploopt naarmate een toets meer vragen telt, ook als de vraagkwaliteit niet verbetert, dus een hoge alpha kan ook wijzen op redundante (te veel overlappende) vragen in plaats van op pure kwaliteit. De psychometrische kwaliteit van de individuele vragen, zoals hun onderscheidend vermogen en moeilijkheidsgraad, is mede van invloed op deze betrouwbaarheid.
Daarnaast is ook de validiteit van de toets essentieel: hebben de vragen echt de kennis, op het juiste niveau, bevraagd die in de leerdoelen werd gevraagd? Heeft de toets de leerstof gedekt (inhoudsvaliditeit), en heeft elke vraag daadwerkelijk het beoogde begrip gemeten, en niet bijvoorbeeld taalvaardigheid in plaats van vakkennis (begripsvaliditeit)? Dit heeft ook te maken met constructive alignment, waarbij leerdoelen, onderwijs (leeractiviteiten) en toetsing op elkaar zijn afgestemd. Dit moet inhoudelijk beoordeeld worden, los van Cronbach's alpha, want een toets kan heel consistent de verkeerde kennis meten en toch een hoge Cronbach's alpha hebben!
Op vraagniveau geven de p'-, Rit- en Rir-waarden een indicatie van de kwaliteit van een vraag, maar een (te) lage of (te) hoge waarde betekent niet per definitie dat een vraag niet goed is. Waarschijnlijk was het juist gewenst dat er af en toe een (zeer) moeilijke vraag in de toets zat, om goed te kunnen discrimineren tussen kandidaten die de leerstof wel of niet beheersen (om dit beoordelen kijk je naar zowel de p'- als de Rir-waarde). Voordat je op basis van de statistische waardes conclusies trekt, moet je echter de vraag altijd inhoudelijk bekijken. Kloppen de vraagstelling, de alternatieven bij een gesloten vraag en de beoordelingscriteria bij een open vraag? Is er een aanwijzing waarom kandidaten consistent voor een specifiek alternatief kozen? Is de vraagstelling eenduidig? Net als bij andere stappen in de toetscyclus geldt hier: twee zien meer dan één. Zeker wanneer je je eigen toets(vragen) analyseert, is het waardevol om ook een collega te laten meekijken, zodat je blinde vlekken voorkomt. Naast eventuele aanpassingen aan het antwoordmodel voor de huidige kandidaten, kun je op basis van deze analyse ook de vragen zelf verbeteren voor toekomstige afnames.
Een toetsafname is dus niet klaar wanneer de resultaten zijn teruggekoppeld aan de kandidaten, maar biedt een kans om te werken aan de kwaliteit van toekomstige toetsen en daarmee aan een verbetering van het onderwijs.
Neem jij de tijd om je toetsen te evalueren en te verbeteren?
.webp)
