Coöperatie Examens MBO werd bijna zes jaar geleden opgericht door en voor het mbo, met één duidelijke opdracht: generieke examens ontwikkelen voor de vakken die elke mbo-student volgt. Inmiddels verzorgt de coöperatie honderdduizenden examenafnames per jaar, verspreid over meer dan honderd onderwijsinstellingen en enkele honderden afnamelocaties. Het volledige examenproces van constructie tot beoordeling, draait op Remindo, het digitale toets- en examenplatform van Paragin Group. Ook heeft de coöperatie een aanbod voor examinering van het vak Burgerschap in Skillsly.
Erik Degen, directeur van Coöperatie Examens MBO, vertelt over de opbouw vanaf nul, de samenwerking met Paragin Group en de landelijke standaard die daaruit is voortgekomen.
De uitdaging
De coöperatie ontstond toen het rekenexamen in het mbo veranderde van een centraal examen naar een instellingsexamen. In plaats van dat elke instelling het wiel opnieuw uitvond, besloten de scholen de handen ineen te slaan.
“Wij zijn bijna zes jaar geleden opgericht door het mbo, voor het ontwikkelen van generieke examens voor vakken die elke mbo’er heeft, zoals rekenen en burgerschap. De aanleiding was dat het rekenexamen van een centraal examen in een instellingsexamen veranderde en de rekeneisen veranderden. Toen zeiden de instellingen: laten we zelf een coöperatie oprichten en onze eigen examens maken. Ik ben directeur vanaf de opstart, dus we zijn echt bij nul begonnen.”
De coöperatie bedient het hele mbo, van niveau 1 (entree) tot en met niveau 4. Eén examen voor zoveel verschillende instellingen bouwen brengt uitdagingen, zoals schaalbaarheid. Ook bij de honderdduizenden afnames op honderden locaties, was schaalbaarheid een reële zorg. In de praktijk bleek dat juist geen knelpunt.
“In Remindo lopen we niet aan tegen problemen met schaalbaarheid. Afname-aantallen zijn geen enkel probleem, en verschillende afnamelocaties ook niet.”
De oplossing
De keuze voor een partner verliep via een aanbesteding, die Paragin Group won. Voor Erik ging het daarbij om meer dan software.
“We kenden Paragin al, en tijdens de aanbesteding kwam Remido als beste uit de bus. We waren echt op zoek naar een partnerschap. En vanaf het begin hadden we meteen een goede klik met Paragin. Twintig jaar geleden was examensoftware nog relatief overzichtelijk; toen kon je zaken naar een pdf’je vertalen. Nu is het echt heel complexe software geworden, met veel mogelijkheden en keuzes en sterke beveiliging.”
In Remindo richt het kernteam de examens volledig in, van constructie tot vaststelling. Waar de coöperatie eerst met losse items werkte, ging ze twee jaar geleden over op complete examens in de digitale omgeving.
“We gingen eerst uit van itembanking, waarbij we opdrachten in Remindo ontwikkelen en daaruit plukken voor gebruik. Maar we merkten dat een deel van de items nooit aan de beurt kwam. Daarom zijn we twee jaar geleden overgestapt op testbanking: dan richt je volledige examens in, in de digitale omgeving. Die worden vervolgens ook voorzien van een vaststellingsadvies door de Landelijke Vaststellingscommissie Rekenen (LVR).”
Twee keer per jaar levert de coöperatie de examens uit aan meer dan honderd instellingen. Bewust volledig digitaal: papier is uit den boze.
“We hebben echt een verbod op uitprinten. Want wat gebeurt er met een papieren versie? Die ligt in een bureaula en wordt een half jaar later zó weer gebruikt, zonder dat hij is bijgesteld. We krijgen geen data terug, wat erg belangrijk is voor kwaliteitsverbetering, en bij papieren afnames is het lekken van gegevens natuurlijk een risico.”
Na het maken van de examens door studenten worden de examens beoordeeld. Dat gebeurt met een grote poel beoordelaars, gekoppeld aan Remindo via de zelf ontwikkelde beoordelaarsmodule.
“Aan het eind van het examenproces moet elk examen worden beoordeeld. Via een API-koppeling gaat het te beoordelen werk naar onze eigen beoordelaarsmodule, die het eerlijk verdeelt over alle 400 beoordelaars. Die module hebben we zelf ontwikkeld, maar hij praat wél met Remindo. Daarnaast doen we in samenwerking met CitoLab analyses van de examens. Dat geeft echt een goede kwaliteitsimpuls."
Erik vervolgt:
"Binnenkort starten we met AI als hulpmiddel bij het nakijken. We zetten het wel echt als húlpmiddel in: de beoordelaars blijven aan het roer. Betekenisvolle menselijke tussenkomst is daarin belangrijk, en elk examen wordt minimaal één keer door een opgeleide beoordelaar beoordeeld.”
Voor rekenen draait alles, formatief én summatief, in Remindo. Voor burgerschap zet de coöperatie daarnaast Skillsly in, eveneens van Paragin Group; dat traject is in maart gepilot en is op basis van feedback doorontwikkeld voor een nieuwe release.
Samenwerking en implementatie
De implementatie was geen eenmalig project met een duidelijk eindpunt, maar het begin van een doorlopende samenwerking.
“De implementatie hebben we in een relatief korte periode gedaan. Maar omdat we continu blijven evalueren en verbeteren, is het eigenlijk een doorlopend proces. Feedback die we van scholen hebben ontvangen leiden tot technische verbeteringen van Remindo, maar dat kunnen we uiteraard niet zonder Paragin. Het is echt een partnerschap.”
Vanuit de coöperatie en Paragin zijn verschillende teams betrokken, welke meebewegen met de vakken die de coöperatie examineert.
“Zowel bij ons als bij Paragin zijn verschillende teams betrokken. Wij hadden eerst alleen een rekenteam en hebben nu ook een burgerschapsteam, met daarnaast een supportafdeling die overal op aanhaakt. De samenwerking hebben we altijd fijn ervaren.”
De resultaten
De grootste winst zit in standaardisatie en die reikt verder dan de eigen organisatie. Wat begon als een interne wens om gegevens op orde te krijgen, groeide door samenwerking in het mbo uit tot een werkwijze voor het hele mbo. Standaardisatie is, tegenstrijdig genoeg, de poort naar flexibilisering.
“De impact van de samerking met Remindo is heel groot. Het gaat niet alleen om de standaardisatie van het toetsproces zelf. We dachten dat het slim zou zijn om ook studentgegevens, studentresultaten en plangegevens te standaardiseren. Dat hebben we in een werkgroep aangevlogen, met Paragin vanaf het begin erbij. Daar heeft Paragin met Remindo echt een voortrekkersrol in genomen. Dat is impact in het hele mbo en eigenlijk schuift het ook al een beetje richting het hbo.”
Door die standaardisatie ligt er een norm over het hele proces, waardoor afwijkingen zichtbaar worden en gericht kunnen worden verbeterd.
“Doordat we bijvoorbeeld de beoordeling gestandaardiseerd hebben, zien we ook welke beoordelingen daarvan afwijken, en daar passen we dan verbetering op toe. Je ziet dat zowel de constructie als de afname steeds efficiënter en consequenter gaat. Dat is voor ons als examenleverancier handig, en ook voor de scholen: zij kunnen hun plan- en afnameproces beter inrichten.”
Doordat alles digitaal en data-gedreven is, kunnen examens bovendien slim worden verbeterd.
“Op basis van de data die je uit de examenanalyse krijgt, zet je de verbeteringen door. Dat maakt het super interessant.”
De toekomst
De ingeslagen weg, digitaal examineren van kennis en vaardigheden, zet de coöperatie samen met Paragin Group voort. De drijfveer is niet dat het nu niet goed genoeg is, maar de overtuiging dat het altijd beter kan.
“We verbeteren omdat het altijd beter kan, niet omdat het nu niet goed is. Omdat we elkaar feedback geven, zijn we continu het proces aan het verbeteren. De weg die we zijn ingeslagen zetten we gewoon lekker door.”
Wat die samenwerking al die jaren draagt, vat Erik ten slotte in één woord.
“Betrokkenheid is een goed woord. Het partnerschap is eigenlijk samen nadenken over hoe verder. En dat is heel prettig.”