.jpg)
De uitdaging: fraudegevoeligheid, correcties en weinig zicht op resultaten
ESS examenservices ontwikkelt en levert examenproducten voor het mbo, onder andere voor retail, ondernemerschap, commercie, mode, luchtvaart, logistiek, wonen en business services. ESS werkt samen met Paragin Group en zet Remindo in voor de theorie-examens en Skillsly voor de praktijkexamens. Bijna iedere mbo-instelling neemt examens af bij ESS, betrouwbaarheid is daarom van groot belang.
Sylvia Verrips, Manager ESS, werkt er inmiddels ruim zeventien jaar. Zij schetst het afnameproces:
“Scholen kiezen zelf wat bij hun visie past uit het aanbod van theorie-examens, praktijkexamens, werkstukken, open boek-tentamens en simulaties.”
Juist bij die theorie-examens liep ESS jarenlang tegen een probleem aan. De examens werden op papier uitgezet en dat maakte ze kwetsbaar.
“Helaas kregen we met enige regelmaat met fraude te maken. En vooral bij theorie-examens is dat een heel kostbaar plaatje. Het kost ook veel tijd om dat recht te trekken.”
Daar kwam bij dat als er onverhoopt een fout in een examen terecht was gekomen dat deze langer in omloop bleef dan gewenst. Ook was ESS voor inzicht in resultaten volledig afhankelijk van terugkoppeling door scholen.
“Vroeger printten de scholen alle examens aan het begin van het schooljaar. Een eventuele fout ging dan soms een schooljaar of langer mee, als de school de nieuwste versies tussentijds niet downloadde.”
De oplossing: digitale afname, overzicht en minder fraudegevoeligheid
ESS koos ervoor om theorie-examens volledig digitaal af te nemen via Remindo, dat de volledige toetscyclus ondersteunt. De coronaperiode versnelde die overstap; sindsdien worden er geen theorie-examens meer op papier uitgeleverd.
De mogelijkheid om examens random samen te stellen uit de vragenbank gaf de doorslag.
“Het grote voordeel van Remindo is dat je random toetsen kunt samenstellen. Een volgende student krijgt niet precies dezelfde set vragen, waardoor fraude al wat minder relevant wordt.”
Die werkwijze riep wel een nieuwe vraag op, zowel bij scholen als bij de onderwijsinspectie: hoe blijven examens dan onderling gelijkwaardig? ESS loste dat op door vragen te groeperen in categorieën waarbinnen elke vraag hetzelfde gewicht en hetzelfde type heeft.
“Ieder item binnen zo’n bakje heeft uiteindelijk dezelfde waarde en hetzelfde soort vraag. Het kan niet zo zijn dat de een tien meerkeuzevragen krijgt en de ander twintig.”
ESS gebruikt Remindo voor de hele keten rond kennisexamens. De organisatie ontwikkelt de vragen zelf, samen met externe auteurs. Naast examinering staan er inmiddels ook oefenbanken in het systeem, zodat studenten alvast kunnen wennen aan de vraagstelling. Signalen uit de analyses vormen de basis voor verbetering.
“Het is gewoon zo mooi dat je vanuit het systeem meldingen krijgt wanneer rit- en p-waardes afwijken, zodat je denkt: hier moet ik wat mee.”
Wijken vragen af, dan roept ESS de vaststellingscommissie bijeen om te bekijken waar het in zit en hoe de vragen aangepast kunnen worden.
Voor de praktijkexamens werkt ESS met Skillsly. In het systeem zijn verschillende examenvarianten ingebouwd.
“Het grote voordeel is dat alles bij elkaar staat. Je hebt dus alle onderdelen in één overzicht. De examencommissies kunnen ook inloggen en meekijken, waardoor zij zien wat de status van de studenten is en afgenomen examens kunnen verifiëren.”
Dat ESS voor kennis- én praktijkexamens bij dezelfde partij uitkwam, is een bewuste keuze geweest. Toen het idee ontstond om ook de praktijkkant te digitaliseren, ging Sylvia direct bij Paragin Group kijken.
“Ik vind het een grote meerwaarde hebben wanneer je beide producten bij één leverancier hebt. Als er dingen zijn, is het toch prettig als het allemaal bij één leverancier ligt.”
Voor ESS betekent het één aanspreekpunt: dezelfde helpdesk, dezelfde vaste contactpersonen en één plek waar vragen over zowel theorie als praktijk terechtkunnen.
Over het implementatieproces van Skillsly herinnert zij zich:
“Het hele invoeren van praktijkexamens is vele malen complexer, moeten we toegeven. En de schaalbaarheid is ook heel anders. Bij theorie maakt het niet heel veel uit als je opschaalt naar grotere aantallen; bij Skillsly doet dat wel heel veel.”
Een deel van die complexiteit zit buiten het systeem: veel studenten lopen stage bij bedrijven waar begeleiders niet zomaar op internet kunnen. Daarom is digitale afname bij praktijkexamens niet verplicht gesteld, terwijl dat bij theorie-examens wél is gebeurd.
Het resultaat: actuelere examens en beter inzicht in de voortgang van studenten
Het belangrijkste effect zit in de actualiteit en kwaliteit van de examenproducten.
“Op het moment dat we een fout constateren en we passen het aan, is het meteen bij iedereen aangepast. Dat is ook veel beter voor de kwaliteit van onze producten.”
Hetzelfde geldt voor aanpassingen door nieuwe wet- en regelgeving.
“Op papier moet je dan echt alles doorbladeren. In Remindo komen bijvoorbeeld gewoon met zoektermen alle items die daarmee te maken hebben in één keer naar boven. Veranderingen die door nieuwe wet- en regelgeving komen, kun je zo veel sneller boven tafel halen.”
Doordat ESS aan de achterkant geanonimiseerd kan meekijken, is de organisatie bovendien minder afhankelijk geworden van terugkoppeling door scholen en begrijpen ze beter hoe studenten redeneren.
“Soms kunnen dingen voor ons ontzettend logisch zijn, maar wij kijken toch vanuit een volwassen oogpunt. Dan zie je de antwoorden van studenten en denk je: die heeft er heel anders naar gekeken. Dat haalden wij er gewoon niet uit. Die dingen kun je nu veel beter herleiden en aanpassen. Dat is echt een hele grote winst in de kwaliteit van onze eigen producten.”
Bij de praktijkexamens zit de winst vooral in inzage en tijd. Iedereen kan op elk moment de status van een student volgen, waardoor scholen eerder kunnen bijsturen.
“In het verleden gebeurde het nog wel eens dat een school op bezoek kwam bij een leerbedrijf en dat er helemaal niets was ingeleverd en er nog geen beoordelingslijsten waren ingevuld. Je bent je reistijd kwijt en je planning is erop aangepast. Doordat je het nu digitaal van tevoren ziet, kun je zeggen: ik kom morgen langs, lever het even aan. Als school zie en weet je gewoon beter wat er speelt binnen je leerbedrijven.”
Daarnaast verdwijnt er papier uit het proces. Sommige onderwijsinstellingen verwijzen in het examenlogboek van de student naar het systeem in plaats van alles te printen, wat scheelt in printwerk, opslagruimte en het beheren van bewaartermijnen.
Voor Skillsly wordt aan de OKE-koppeling gewerkt, waarmee gegevens uitgewisseld kunnen worden met systemen als Eduarte en Magister.
“Laten we heel eerlijk zijn: de menselijke factor is wel iets waar een fout in kan ontstaan. Het feit dat je dit straks in het proces kunt digitaliseren, zorgt ervoor dat dat minder gaat gebeuren.”
Digitalisering heeft volgens Sylvia ook effect op de zuiverheid van examenprocessen bij scholen zelf. Waar op papier meer ruimte voor eigen interpretatie bestond, stuurt een digitaal proces sterker.
“Voor examencommissies is dat heel fijn. Zij hadden die standaardisering vaak al goed beschreven en gingen ervan uit dat men het zo deed. Maar nu kan het echt niet meer anders. Voor de waarde van het diploma is het veel beter dat het op deze manier gaat, waardoor die processen gewoon echt zuiverder zijn.”
Voor de toekomst ligt er één duidelijke wens: een koppeling tussen Skillsly en Remindo, zodat scholen gegevens nog maar in één systeem hoeven in te voeren. Die ontwikkeling loopt parallel aan een bredere beweging bij instellingen, die hun beheer centraliseren van veel kleine omgevingen naar enkele grote.
Wat de samenwerking met Paragin Group volgens haar het meest kenmerkt, is de ruimte om mee te denken.
“Je staat niet alleen maar langs de zijlijn, je hebt ook ruimte om echt actief mee te denken en een bijdrage te leveren. Het feit dat we nog steeds benaderd worden om over bepaalde zaken mee te denken, en dat we daarin serieus genomen worden en er echt geluisterd wordt, dat vind ik als afnemer heel waardevol.”