KI-Halluzinationen im Lernen vermeiden

Von einer Halluzination spricht man, wenn ein Sprachmodell eine Aussage macht, die falsch oder erfunden ist, sie aber so formuliert, als wäre sie gesichert. Typische Beispiele sind erfundene Quellen und Zitate, falsche Zahlen, verwechselte Paragrafen, nicht existierende Fachbegriffe oder Antworten auf Fragen, zu denen das Modell eigentlich nichts weiß.

Die Ursache liegt in der Arbeitsweise. Ein Sprachmodell erzeugt Text, indem es Wort für Wort berechnet, was wahrscheinlich folgt. Es hat kein eingebautes Verständnis von wahr und falsch. Wenn es zu einer Frage keine verlässlichen Muster gelernt hat, erzeugt es trotzdem eine plausible Antwort, und Plausibilität ist nicht Richtigkeit.

In vielen Anwendungen ist eine falsche KI-Antwort ärgerlich. Im Lernen ist sie gefährlich, weil Teilnehmer dem Material vertrauen und es sich einprägen. Eine falsch gelernte Frist, eine erfundene Regel oder eine verdrehte Definition wirkt nach, bis sie im Alltag Schaden anrichtet. Und weil KI-Antworten so überzeugend klingen, fallen Fehler Teilnehmern kaum auf; sie sind ja gerade dabei, das Thema zu lernen.

Hinzu kommt ein Vertrauensschaden. Wenn Teilnehmer einmal eine falsche Antwort entdecken, misstrauen sie danach auch den richtigen. Eine Lernplattform, die Fehler offen kennzeichnet und schnell korrigiert, behält dieses Vertrauen eher als eine, die Fehler hinter glatten Formulierungen versteckt.

Halluzinationen lassen sich nicht vollständig ausschließen, aber stark reduzieren. Die folgenden Maßnahmen wirken am besten in Kombination.

Das verbreitetste Verfahren heißt abrufgestützte Erzeugung. Bevor das Modell antwortet, werden die passenden Abschnitte aus dem Kursinhalt und aus hinterlegten Quellen gesucht und dem Modell mitgegeben. Das Modell wird angewiesen, nur auf dieser Grundlage zu antworten und zu sagen, wenn die Grundlage nicht reicht.

Das senkt Halluzinationen deutlich, beseitigt sie aber nicht. Das Modell kann Quellen falsch zusammenfassen oder Lücken mit eigenem Wissen füllen. Deshalb ist eine zweite Stufe sinnvoll, die die fertige Antwort noch einmal gegen die Quellen prüft, bevor sie den Teilnehmer erreicht.

Ein Lernsystem sollte lieber sagen „Das kann ich auf Grundlage dieses Kurses nicht sicher beantworten“ als eine glatte falsche Antwort geben. Das widerspricht dem Bedürfnis, immer hilfreich zu sein, ist aber im Lernkontext der richtige Maßstab. Teilnehmer lernen dabei auch etwas Wichtiges über KI: dass ihre Antworten Grenzen haben.

Leitplanken halten das System in seiner Rolle. Fragen außerhalb des Kursthemas, Versuche, es zu manipulieren, oder Fragen nach Einzelfallberatung in Recht, Medizin oder Finanzen werden erkannt und freundlich abgelehnt. So entstehen weniger Situationen, in denen das Modell ohne Grundlage antworten müsste.

In Universe laufen Antworten im Kurs durch eine Prüfkette, die Aussagen gegen Quellen hält; was nicht belegt werden kann, wird als solches gekennzeichnet. Beim Erstellen von Folien prüfen zwei Sprachmodelle prüfbare Aussagen unabhängig gegen archivierte Quellen, bevor Grafik und Vertonung entstehen. Leitplanken halten Avatar, Tutor-Chat und Sprachdialog im Rahmen des Kurses, wehren eingeschleuste Anweisungen ab und protokollieren Versuche. Inhaltsfehler lassen sich melden und als Errata nachverfolgen.