Prüfungsfragen erstellen: Multiple Choice und offen

Eine gute Prüfungsfrage ist gültig, zuverlässig und fair. Gültig heißt: Sie misst, was sie messen soll, nämlich das Lernziel. Zuverlässig heißt: Zwei Bewerter kämen zum selben Ergebnis, und der Zufall spielt eine kleine Rolle. Fair heißt: Wer das Ziel erreicht hat, kann die Frage beantworten, unabhängig von sprachlichen Feinheiten oder Tricks.

Diese drei Eigenschaften klingen selbstverständlich, werden aber oft verfehlt. Fragen prüfen dann, ob jemand eine Formulierung wiedererkennt, nicht ob er die Sache verstanden hat; oder sie lassen sich durch geschicktes Ausschließen lösen, ohne dass man den Stoff kennt.

Multiple-Choice-Fragen bestehen aus einem Fragestamm, der richtigen Antwort und falschen Antworten, den Ablenkern. Sie sind schnell auszuwerten und eignen sich gut für Erinnern und Verstehen, mit gut gebauten Fallbeispielen auch für Anwenden und Analysieren.

Offene Fragen verlangen eine eigene Antwort: eine Erklärung, eine Begründung, eine Lösung. Sie eignen sich besonders für höhere Stufen wie Bewerten und Erschaffen, sind aber aufwendiger zu bewerten. Damit die Bewertung zuverlässig ist, braucht jede offene Frage ein Bewertungsraster, das vor der Bewertung feststeht.

Ein Raster nennt die Kriterien, nach denen bewertet wird, und beschreibt je Kriterium, was eine volle, teilweise oder fehlende Erfüllung ist. Bewertet wird je Kriterium mit Begründung, nicht nach Gesamteindruck. Das macht Ergebnisse vergleichbar und für Teilnehmer nachvollziehbar.

Sprachmodelle können aus einem Kursinhalt in kurzer Zeit viele Fragen entwerfen, auch mit Ablenkern und Erklärungen. Das spart Zeit, besonders bei großen Fragenpools. Die Entwürfe brauchen aber eine fachliche Prüfung: Ist die richtige Antwort wirklich richtig? Sind die Ablenker eindeutig falsch, aber plausibel? Prüft die Frage das Ziel auf der richtigen Stufe?

Bei der Bewertung offener Antworten kann KI einen Vorschlag machen, der sich an das Raster hält. Die Entscheidung muss bei einem Menschen liegen. Die europäische KI-Verordnung stuft Systeme, die Lernergebnisse bewerten, als Hochrisiko-Systeme ein; das verlangt unter anderem menschliche Aufsicht.

Nach den ersten Durchläufen lohnt sich ein Blick auf die Ergebnisse je Frage. Eine Frage, die fast alle richtig beantworten, ist vielleicht zu leicht oder verrät die Antwort. Eine Frage, die fast alle falsch beantworten, ist vielleicht missverständlich oder der Stoff wurde im Kurs nicht ausreichend vermittelt. Besonders aufschlussreich sind Fragen, bei denen gute Teilnehmer schlechter abschneiden als schwächere; dort stimmt meist etwas an der Frage nicht.

Prüfen Sie auch, welche Ablenker gewählt werden. Ein Ablenker, den niemand wählt, erfüllt seinen Zweck nicht. Ein Ablenker, den viele wählen, zeigt eine verbreitete Fehlvorstellung, die der Kurs besser aufgreifen sollte.

In Universe legen Lehrende Prüfungen als Auswahlprüfung, Klausur mit Freitext oder Hausarbeit-Themen an. Unter „Mit KI erzeugen“ entstehen Fragen aus einem Thema; die Vorschläge werden angehängt, nichts wird überschrieben. Für Freitextfragen hinterlegt man ein Bewertungsraster, das die KI-Vorkorrektur steuert; die Bewertung bestätigt ein Mensch. Fragenpools lassen sich im QTI-Format übernehmen.