.jpg)
Die Herausforderung: Betrugsanfälligkeit, langsame Korrekturen und wenig Einblick in Ergebnisse
ESS examenservices entwickelt und liefert Prüfungsprodukte für die niederländische Berufsausbildung (mbo), unter anderem in den Bereichen Einzelhandel, Unternehmertum, Vertrieb, Mode, Luftfahrt, Logistik, Wohnen und Einrichtung sowie Business Services. ESS arbeitet mit Paragin Group zusammen und setzt Remindo für Theorieprüfungen und Skillsly für praktische Prüfungen ein. Fast jede mbo-Einrichtung in den Niederlanden nimmt Prüfungen von ESS ab. Zuverlässigkeit hat deshalb oberste Priorität.
Sylvia Verrips, Managerin bei ESS, ist seit mehr als siebzehn Jahren dabei. Sie beschreibt, wie die Prüfungen abgenommen werden:
„Die Schulen wählen aus unserem Angebot an Theorieprüfungen, praktischen Prüfungen, Projektarbeiten, Open-Book-Prüfungen und Simulationen das aus, was zu ihrem Konzept passt.“
Ausgerechnet bei den Theorieprüfungen hatte ESS jahrelang ein Problem. Sie wurden auf Papier verteilt, und das machte sie angreifbar.
„Leider hatten wir regelmäßig mit Betrug zu tun. Gerade bei Theorieprüfungen ist das sehr kostspielig. Und es kostet viel Zeit, das wieder geradezubiegen.“
Hinzu kam: Hatte sich doch einmal ein Fehler in eine Prüfung eingeschlichen, blieb er länger im Umlauf als gewünscht. Für Einblicke in die Ergebnisse war ESS zudem vollständig auf Rückmeldungen der Schulen angewiesen.
„Früher haben die Schulen zu Beginn des Schuljahres alle Prüfungen ausgedruckt. Ein Fehler blieb dann manchmal ein ganzes Schuljahr oder länger bestehen, wenn die Schule zwischendurch nicht die neuesten Versionen heruntergeladen hat.“
Die Lösung: digitale Abnahme, klarer Überblick und weniger Betrugsrisiko
ESS entschied sich, die Theorieprüfungen vollständig digital mit Remindo abzunehmen, das den gesamten Prüfungszyklus abdeckt. Die Corona-Zeit beschleunigte den Umstieg. Seitdem wird keine Theorieprüfung mehr auf Papier ausgegeben.
Den Ausschlag gab die Möglichkeit, Prüfungen nach dem Zufallsprinzip aus der Itembank zusammenzustellen.
„Der große Vorteil von Remindo ist, dass man Prüfungen zufällig zusammenstellen kann. Der nächste Prüfling bekommt nicht genau dieselben Fragen, und dadurch wird Betrug schon weniger relevant.“
Diese Arbeitsweise warf allerdings eine neue Frage auf, sowohl bei den Schulen als auch bei der niederländischen Schulinspektion: Wie bleiben die Prüfungen untereinander gleichwertig? ESS löste das, indem die Fragen in Kategorien gruppiert werden, in denen jede Frage dasselbe Gewicht und denselben Fragetyp hat.
„Jedes Item in so einer Gruppe hat am Ende denselben Wert und ist dieselbe Art von Frage. Es kann nicht sein, dass der eine zehn Multiple-Choice-Fragen bekommt und der andere zwanzig.“
ESS nutzt Remindo für den gesamten Prozess rund um die Wissensprüfungen. Die Organisation entwickelt die Fragen selbst, gemeinsam mit externen Autorinnen und Autoren. Neben den Prüfungen enthält das System inzwischen auch Übungsbanken, damit sich Lernende schon vorab an die Fragestellung gewöhnen können. Signale aus der Itemanalyse bilden die Grundlage für Verbesserungen.
„Es ist einfach toll, dass das System meldet, wenn p-Werte und Rit-Werte abweichen. Dann denkt man: Da muss ich etwas tun.“
Weichen Fragen ab, beruft ESS die Freigabekommission ein. Sie prüft, wo das Problem liegt und wie die Fragen überarbeitet werden können.
Für die praktischen Prüfungen arbeitet ESS mit Skillsly. Im System sind verschiedene Prüfungsvarianten hinterlegt.
„Der große Vorteil ist, dass alles an einem Ort ist. Man hat alle Bestandteile in einer Übersicht. Auch die Prüfungsausschüsse können sich einloggen und sehen, wo die Lernenden stehen, und abgenommene Prüfungen verifizieren.“
Dass ESS für Wissens- und Praxisprüfungen beim selben Anbieter gelandet ist, war eine bewusste Entscheidung. Als die Idee aufkam, auch die Praxisseite zu digitalisieren, wandte sich Sylvia direkt an Paragin Group.
„Ich finde es einen echten Mehrwert, beide Produkte bei einem Anbieter zu haben. Wenn etwas ist, ist es einfach angenehmer, wenn alles bei einem Anbieter liegt.“
Für ESS bedeutet das einen zentralen Ansprechpartner: denselben Support, dieselben festen Kontaktpersonen und eine Anlaufstelle für Fragen zu Theorie- und Praxisprüfungen.
Über die Einführung von Skillsly sagt sie rückblickend:
„Die Einführung praktischer Prüfungen ist um ein Vielfaches komplexer, das müssen wir zugeben. Und auch die Skalierung ist ganz anders. Bei Theorie macht es kaum einen Unterschied, ob man auf größere Zahlen hochskaliert. Bei Skillsly macht das sehr viel aus.“
Ein Teil dieser Komplexität liegt außerhalb des Systems. Viele Lernende absolvieren ihre Praxisphase in Betrieben, in denen die Ausbilderinnen und Ausbilder nicht ohne Weiteres online gehen können. Deshalb ist die digitale Abnahme bei praktischen Prüfungen nicht verpflichtend, bei Theorieprüfungen dagegen schon.
Das Ergebnis: aktuellere Prüfungen und besserer Einblick in den Lernfortschritt
Die größte Wirkung zeigt sich bei Aktualität und Qualität der Prüfungsprodukte.
„Sobald wir einen Fehler entdecken und korrigieren, ist er sofort für alle korrigiert. Das ist auch viel besser für die Qualität unserer Produkte.“
Dasselbe gilt für Anpassungen aufgrund neuer Gesetze und Vorschriften.
„Auf Papier muss man wirklich alles durchblättern. In Remindo findet man mit einem Suchbegriff alle zugehörigen Items auf einen Schlag. So lassen sich Änderungen durch neue Gesetze und Vorschriften viel schneller aufspüren.“
Weil ESS im Hintergrund anonymisierte Antworten einsehen kann, ist die Organisation weniger auf Rückmeldungen der Schulen angewiesen und versteht besser, wie Lernende denken.
„Manches erscheint uns völlig logisch, aber wir schauen eben mit den Augen von Erwachsenen darauf. Dann sieht man die Antworten der Lernenden und denkt: Die haben das ganz anders gesehen. Das haben wir früher einfach nicht erkannt. Heute können wir so etwas viel besser nachvollziehen und anpassen. Das ist ein wirklich großer Gewinn für die Qualität unserer eigenen Produkte.“
Bei den praktischen Prüfungen liegt der Gewinn vor allem in Transparenz und Zeit. Alle Beteiligten können den Stand eines Lernenden jederzeit verfolgen, sodass Schulen früher gegensteuern können.
„Früher kam es schon mal vor, dass eine Schule einen Ausbildungsbetrieb besuchte und dort noch gar nichts eingereicht und kein Bewertungsbogen ausgefüllt war. Dann ist die Fahrzeit verloren und die Planung war darauf ausgerichtet. Weil man es jetzt vorab digital sieht, kann man sagen: Ich komme morgen vorbei, bitte lade es hoch. Als Schule weiß man einfach besser, was in den Ausbildungsbetrieben los ist.“
Außerdem verschwindet Papier aus dem Prozess. Einige Bildungseinrichtungen verweisen im Prüfungslogbuch der Lernenden auf das System, statt alles auszudrucken. Das spart Druckkosten, Lagerplatz und Aufwand bei der Verwaltung von Aufbewahrungsfristen.
Für Skillsly wird an der OKE-Schnittstelle gearbeitet, über die Daten mit Schulverwaltungssystemen wie Eduarte und Magister ausgetauscht werden können.
„Seien wir ehrlich: Beim menschlichen Faktor können sich Fehler einschleichen. Dass man diesen Teil des Prozesses bald digitalisieren kann, sorgt dafür, dass das seltener passiert.“
Laut Sylvia wirkt sich die Digitalisierung auch auf die Prüfungsprozesse an den Schulen selbst aus. Wo auf Papier mehr Raum für eigene Auslegung bestand, gibt ein digitaler Prozess eine klarere Richtung vor.
„Für Prüfungsausschüsse ist das sehr gut. Sie hatten diese Standardisierung oft schon sauber beschrieben und gingen davon aus, dass sich alle daran halten. Jetzt geht es aber wirklich nicht mehr anders. Für den Wert des Abschlusses ist es viel besser so, weil die Prozesse einfach sauberer sind.“
Für die Zukunft gibt es einen klaren Wunsch: eine Integration zwischen Skillsly und Remindo, damit Schulen Daten nur noch in einem System erfassen müssen. Diese Entwicklung läuft parallel zu einem breiteren Trend bei den Einrichtungen, die ihre Verwaltung von vielen kleinen Umgebungen auf wenige große bündeln.
Was sie an der Zusammenarbeit mit Paragin Group am meisten schätzt, ist der Raum zum Mitgestalten.
„Man steht nicht nur an der Seitenlinie, sondern hat auch Raum, aktiv mitzudenken und einen Beitrag zu leisten. Dass wir nach wie vor gefragt werden, wenn es um bestimmte Themen geht, dass wir ernst genommen werden und man uns wirklich zuhört, das finde ich als Kunde sehr wertvoll.“