Die Coöperatie Examens MBO wurde vor fast sechs Jahren von und für die niederländische Berufsbildung (mbo) mit einem klaren Auftrag gegründet: die Entwicklung allgemeiner Prüfungen für Fächer, die jeder MBO-Schüler belegen muss. Heute wickelt die Genossenschaft jährlich Hunderttausende von Prüfungen an über hundert Bildungseinrichtungen und mehreren hundert Prüfungsstandorten ab. Der gesamte Prüfungsprozess, von der Erstellung bis zur Bewertung, läuft über Remindo, die digitale Assessment- und Prüfungsplattform der Paragin Group. Zudem bietet die Genossenschaft Prüfungen für das Fach Staatsbürgerkunde über Skillsly an.
Erik Degen, Geschäftsführer der Coöperatie Examens MBO, spricht über den Aufbau von Grund auf, die Zusammenarbeit mit der Paragin Group und den daraus entstandenen nationalen Standard.
Die Herausforderung
Die Genossenschaft entstand, als die MBO-Prüfung in Rechnen von einer zentralen zu einer institutionellen Prüfung umgewandelt wurde. Anstatt dass jede Einrichtung das Rad neu erfindet, beschlossen die Schulen, ihre Kräfte zu bündeln.
„Wir wurden vor fast sechs Jahren vom MBO-Sektor gegründet, um allgemeine Prüfungen für Fächer zu entwickeln, die jeder MBO-Schüler belegt, wie etwa Rechnen und Staatsbürgerkunde. Der Grund war, dass die Rechenprüfung von einer zentralen zu einer institutionellen Prüfung wurde und sich auch die Anforderungen änderten. Da sagten die Einrichtungen: Lasst uns unsere eigene Genossenschaft gründen und unsere eigenen Prüfungen erstellen. Ich bin seit dem ersten Tag Geschäftsführer, wir haben also wirklich bei null angefangen.“
Die Genossenschaft bedient das gesamte MBO-Spektrum, von Stufe 1 (Einstiegsniveau) bis einschließlich Stufe 4. Eine einzige Prüfung für so viele verschiedene Einrichtungen zu erstellen, bringt Herausforderungen mit sich, darunter die Skalierbarkeit. Bei Hunderttausenden von Prüfungen an hunderten Standorten war die Skalierbarkeit ein echtes Anliegen. In der Praxis erwies sich dies jedoch keineswegs als Engpass.
„Bei Remindo stoßen wir nicht auf Skalierungsprobleme. Das Prüfungsvolumen ist überhaupt kein Thema, ebenso wenig wie die verschiedenen Prüfungsstandorte.“
Die Lösung
Die Suche nach einem Partner erfolgte über eine Ausschreibung, die die Paragin Group gewann. Für Erik ging es um mehr als nur Software.
„Wir kannten Paragin bereits, und während der Ausschreibung setzte sich Remindo durch. Wir waren wirklich auf der Suche nach einer Partnerschaft. Und von Anfang an hatten wir einen guten Draht zu Paragin. Vor zwanzig Jahren war Prüfungssoftware noch relativ simpel; damals konnte man alles in ein PDF umwandeln. Heute ist es eine wirklich komplexe Software mit sehr vielen Optionen, Auswahlmöglichkeiten und hoher Sicherheit.“
In Remindo erstellt das Kernteam die Prüfungen vollständig, von der Konzeption bis zur formalen Freigabe. Während die Genossenschaft anfangs mit einzelnen Aufgaben arbeitete, stellte sie vor zwei Jahren auf komplette Prüfungen in der digitalen Umgebung um.
„Wir haben mit einer Aufgabenbank begonnen, bei der wir Aufgaben in Remindo entwickelt und bei Bedarf abgerufen haben. Wir stellten jedoch fest, dass einige Aufgaben nie zum Einsatz kamen. Deshalb sind wir vor zwei Jahren auf eine Prüfungsbank umgestiegen: Man erstellt komplette Prüfungen in der digitalen Umgebung. Diese Prüfungen erhalten dann auch eine Freigabeempfehlung durch das Nationale Rechenprüfungskomitee (LVR).“
Zweimal im Jahr liefert die Genossenschaft die Prüfungen an mehr als hundert Einrichtungen aus, bewusst vollständig digital. Papier kommt nicht infrage.
„Wir haben ein striktes Druckverbot. Denn was passiert mit einer Papierversion? Sie landet in einer Schreibtischschublade und wird sechs Monate später genau so wiederverwendet, ohne überarbeitet worden zu sein. Wir erhalten keine Daten zurück, was für die Qualitätsverbesserung sehr wichtig ist, und bei Prüfungen auf Papier besteht natürlich das Risiko von Informationslecks.“
Sobald die Schüler ihre Prüfungen abgelegt haben, werden diese bewertet. Dies erfolgt durch einen großen Pool von Prüfern, die über das genossenschaftseigene Prüfermodul mit Remindo verbunden sind.
„Am Ende des Prüfungsprozesses muss jede Prüfung bewertet werden. Über eine API-Schnittstelle gelangen die zu bewertenden Arbeiten in unser eigenes Prüfermodul, das sie fair auf alle 400 Prüfer verteilt. Wir haben dieses Modul selbst entwickelt, aber es kommuniziert mit Remindo. Darüber hinaus analysieren wir die Prüfungen gemeinsam mit CitoLab. Das gibt der Qualität einen echten Schub.“
Erik fährt fort:
„Wir werden in Kürze damit beginnen, KI als Unterstützung bei der Bewertung einzusetzen. Und wir setzen sie wirklich als Unterstützung ein: Die Prüfer behalten das Ruder in der Hand. Sinnvolle menschliche Eingriffe sind hier wichtig, und jede Prüfung wird mindestens einmal von einem geschulten Prüfer bewertet.“
Für den Bereich Rechnen läuft alles über Remindo, sowohl formativ als auch summativ. Für das Fach Staatsbürgerkunde nutzt die Kooperative zudem Skillsly, ebenfalls aus der Paragin Group; dieser Bereich wurde im März pilotiert und auf Basis des erhaltenen Feedbacks für eine neue Version weiterentwickelt.
Zusammenarbeit und Implementierung
Die Implementierung war kein einmaliges Projekt mit einem klaren Endpunkt, sondern der Beginn einer fortlaufenden Zusammenarbeit.
„Wir haben die Implementierung in relativ kurzer Zeit abgeschlossen. Da wir jedoch ständig evaluieren und verbessern, ist es ein kontinuierlicher Prozess. Feedback, das wir von Schulen erhalten, führt zu technischen Verbesserungen an Remindo, aber das können wir natürlich nicht ohne Paragin umsetzen. Es ist eine echte Partnerschaft.“
Mehrere Teams sowohl der Kooperative als auch von Paragin sind daran beteiligt und passen sich den Fächern an, die die Kooperative prüft.
„Es sind verschiedene Teams beteiligt, sowohl auf unserer Seite als auch bei Paragin. Anfangs hatten wir nur ein Team für den Bereich Rechnen; jetzt haben wir auch ein Team für Staatsbürgerkunde sowie eine Support-Abteilung, die überall eingebunden ist. Wir empfinden die Zusammenarbeit seit jeher als sehr angenehm.“
Die Ergebnisse
Der größte Gewinn liegt in der Standardisierung, die weit über die eigene Organisation der Kooperative hinausgeht. Was als interner Wunsch begann, die Daten in Ordnung zu bringen, entwickelte sich durch die Zusammenarbeit innerhalb des MBO zu einer Arbeitsweise für den gesamten Sektor. Standardisierung ist paradoxerweise das Tor zur Flexibilität.
„Die Auswirkungen der Arbeit mit Remindo sind sehr bedeutend. Es geht nicht nur um die Standardisierung des Prüfungsprozesses selbst. Wir hielten es für klug, auch Schülerdaten, Prüfungsergebnisse und Planungsdaten zu standardisieren. Das haben wir in einer Arbeitsgruppe angegangen, bei der Paragin von Anfang an dabei war. Paragin und Remindo haben dabei wirklich eine führende Rolle übernommen. Das hat Auswirkungen auf das gesamte MBO und beginnt tatsächlich auch auf den Hochschulbereich überzugreifen.“
Diese Standardisierung setzt einen Maßstab für den gesamten Prozess, wodurch Abweichungen sichtbar werden und gezielt verbessert werden können.
„Da wir beispielsweise die Notengebung standardisiert haben, können wir auch sehen, welche Prüfungen davon abweichen, und dort Verbesserungen vornehmen. Man sieht, dass sowohl die Erstellung als auch die Durchführung stetig effizienter und konsistenter werden. Das ist für uns als Prüfungsanbieter nützlich, aber auch für die Schulen: Sie können ihre Planungs- und Durchführungsprozesse besser organisieren.“
Und da alles digital und datengesteuert ist, können Prüfungen intelligent verbessert werden.
„Basierend auf den Daten, die man aus der Prüfungsanalyse gewinnt, setzt man die Verbesserungen um. Das macht es so interessant.“
Blick in die Zukunft
Die Kooperative setzt den eingeschlagenen Weg der digitalen Prüfung von Wissen und Fertigkeiten gemeinsam mit der Paragin Group fort. Der Antrieb ist nicht, dass die Dinge heute nicht gut genug wären, sondern die Überzeugung, dass sie immer noch besser werden können.
„Wir verbessern uns, weil Dinge immer besser werden können, nicht weil sie aktuell nicht gut sind. Da wir uns gegenseitig Feedback geben, verbessern wir den Prozess kontinuierlich. Wir setzen den eingeschlagenen Weg einfach fort.“
Abschließend fasst Erik in einem einzigen Wort zusammen, was diese Zusammenarbeit all die Jahre getragen hat.
Engagement ist ein treffendes Wort. Bei dieser Partnerschaft geht es im Kern darum, gemeinsam über den weiteren Weg nachzudenken. Und das ist wirklich sehr angenehm.