Tests werden in erster Linie durchgeführt, um das Wissen der Kandidaten zu messen. Wie gut beherrschen sie den Stoff und auf welchem Niveau? Wie hat diese Gruppe im Vergleich zu anderen Gruppen oder zu früheren Jahren abgeschnitten? Doch es wird nicht nur das Wissen der Kandidaten gemessen; faktisch wird auch der Test selbst auf den Prüfstand gestellt.
Ich persönlich halte dies für einen der interessantesten Schritte im Assessment-Zyklus. Obwohl man im Vorfeld viel tun kann, um einen validen und zuverlässigen Test zu erstellen, lässt sich erst im Nachhinein feststellen, ob dies gelungen ist. Es gibt fast immer ein paar Fragen, die ein anderes Ergebnis liefern als erwartet. Besonders wenn eine ausreichende Anzahl an Durchläufen vorliegt, lohnt es sich, sowohl die einzelnen Fragen als auch den Test als Ganzes zu untersuchen. Warum haben so viele Kandidaten eine bestimmte Frage so schlecht beantwortet? War die Frage selbst fehlerhaft? War die Formulierung mehrdeutig? Wurde tatsächlich anderes Wissen abgefragt? Oder wurde dieses Wissen im Unterricht nicht behandelt oder nicht auf dem richtigen Anforderungsniveau vermittelt?
Wird sich die Zeit genommen, den Test zu evaluieren, Verbesserungspunkte zu identifizieren und diese auch tatsächlich umzusetzen, damit die nächste Gruppe von Kandidaten einen noch besseren Test erhält? Erst dann schließt sich der Kreis des Assessment-Zyklus.
In einem digitalen Prüfungssystem stehen statistische Daten für die Analyse fast unmittelbar nach Vorliegen der Ergebnisse zur Verfügung – sowohl auf Fragen- als auch auf Testebene. Diese Zahlen geben Aufschluss über den Test und die zugrunde liegenden Fragen, doch man muss sie immer genauer betrachten, um zu verstehen, was sie im Kontext der jeweiligen Prüfung bedeuten.
Auf Testebene betrachtet man Kennzahlen wie den Mittelwert und die Streuung der Ergebnisse. Cronbachs Alpha ist dabei das bekannteste Maß für die Zuverlässigkeit eines Tests: Es misst die interne Konsistenz. Ein hoher Wert deutet darauf hin, dass die Fragen im Test inhaltlich zusammenhängen und ein zuverlässiges Ergebnis liefern; bei einem niedrigen Wert lässt sich kaum bestimmen, ob das Ergebnis eine aussagekräftige Information darüber liefert, wie gut die Kandidaten den Stoff beherrschen.
Man muss jedoch beachten, dass Cronbachs Alpha fast automatisch steigt, je mehr Fragen ein Test enthält, selbst wenn sich die Qualität der Fragen nicht verbessert hat. Ein hohes Alpha kann daher auch auf redundante (zu stark überschneidende) Fragen hindeuten und nicht unbedingt auf echte Qualität. Auch die psychometrische Qualität der einzelnen Fragen, ihre Trennschärfe und Schwierigkeit beeinflussen diese Zuverlässigkeit.
Die Validität des Tests ist ebenso entscheidend: Haben die Fragen wirklich das Wissen geprüft, das in den Lernzielen festgelegt wurde, und zwar auf dem richtigen Niveau? Hat der Test den Stoff abgedeckt (Inhaltsvalidität), und hat jede Frage tatsächlich das beabsichtigte Verständnis gemessen und nicht etwa die Sprachkompetenz anstelle des Fachwissens (Konstruktvalidität)? Dies hängt auch mit dem Constructive Alignment zusammen, bei dem Lernziele, Lehraktivitäten und Prüfungen aufeinander abgestimmt sind. Dies muss inhaltlich beurteilt werden, unabhängig von Cronbachs Alpha, denn ein Test kann das falsche Wissen sehr konsistent messen und dennoch ein hohes Cronbachs Alpha aufweisen.
Auf Frageebene geben die p'-, Rit- und Rir-Werte einen Hinweis auf die Qualität einer Frage, aber ein (zu) niedriger oder (zu) hoher Wert bedeutet nicht per se, dass die Frage schlecht ist. Es kann durchaus beabsichtigt gewesen sein, gelegentlich eine (sehr) schwierige Frage einzubauen, um effektiv zwischen Kandidaten zu unterscheiden, die den Stoff beherrschen, und solchen, die dies nicht tun. Um dies zu beurteilen, betrachtet man sowohl den p'-Wert als auch den Rir-Wert. Bevor man jedoch Schlussfolgerungen aus der Statistik zieht, sollte man die Frage immer inhaltlich prüfen. Sind die Formulierung, die Antwortmöglichkeiten bei einer geschlossenen Frage und die Bewertungskriterien bei einer offenen Frage fundiert? Gibt es Anhaltspunkte dafür, warum Kandidaten konsistent eine bestimmte Antwortmöglichkeit gewählt haben? Ist die Frage eindeutig? Wie bei anderen Schritten im Assessment-Zyklus gilt: Vier Augen sehen mehr als zwei. Besonders wenn man seine eigenen Tests und Fragen analysiert, ist es wertvoll, einen Kollegen hinzuzuziehen, um blinde Flecken zu vermeiden. Neben Anpassungen am Bewertungsschlüssel für die aktuellen Kandidaten ermöglicht diese Analyse auch, die Fragen selbst für zukünftige Durchläufe zu verbessern.
Eine Prüfung ist also nicht abgeschlossen, sobald die Ergebnisse an die Kandidaten zurückgemeldet wurden. Sie bietet die Gelegenheit, an der Qualität zukünftiger Tests und damit an der Qualität der Lehre zu arbeiten.
Nehmen Sie sich die Zeit, Ihre Tests zu evaluieren und zu verbessern?
.webp)
