Faktenprüfung von KI-Inhalten in Kursen

Sprachmodelle erzeugen Texte, die flüssig, sachlich und überzeugend klingen. Sie tun das auch dann, wenn eine Aussage nicht stimmt. Das liegt an ihrer Arbeitsweise: Sie berechnen, welche Wörter wahrscheinlich aufeinander folgen, und nicht, was wahr ist. Meist liegen sie richtig; manchmal erfinden sie Zahlen, verwechseln Paragrafen oder geben veraltete Rechtslagen wieder.

In einem Kurs ist das besonders heikel. Teilnehmer vertrauen dem Material, lernen es und wenden es an. Ein Kurs, der Falsches lehrt, richtet mehr Schaden an als gar keiner. Deshalb gehört die Faktenprüfung zu jeder KI-gestützten Kurserstellung.

Nicht jeder Satz eines Kurses ist eine prüfbare Behauptung. Erklärungen, Beispiele und Empfehlungen lassen sich nicht im engen Sinn belegen. Prüfbar sind Aussagen über Tatsachen, die eine Quelle bestätigen oder widerlegen kann.

Ein belastbares Verfahren läuft in mehreren Schritten. Zuerst werden die prüfbaren Aussagen aus dem Text gezogen. Dann wird für jede Aussage eine verlässliche Quelle gesucht und die Aussage gegen sie gehalten. Das Ergebnis wird eingestuft und dokumentiert. Bei Widersprüchen wird ein Korrekturvorschlag gemacht, den ein Mensch annimmt oder verwirft.

Wichtig ist die dritte Kategorie neben belegt und widerlegt: ungeprüft. Wenn eine Quelle nicht erreichbar ist oder keine passende gefunden wird, ist die Aussage nicht falsch, aber auch nicht belegt. Ein Verfahren, das in diesem Fall eine Entscheidung erzwingt, erzeugt entweder falsche Sicherheit oder falsche Vorwürfe.

Ein einzelnes Sprachmodell, das seinen eigenen Text prüft, übersieht leicht dieselben Fehler, die es gemacht hat. Belastbarer ist eine Prüfung durch mehrere unabhängige Modelle, deren Urteile von einer festen, nachvollziehbaren Regel zusammengeführt werden. Weichen die Urteile ab, wird die Aussage nicht stillschweigend bestätigt, sondern zur Prüfung durch einen Menschen markiert.

Quellen sollten gesichert werden. Webseiten ändern sich oder verschwinden; ein Beleg, der nur aus einem Link besteht, kann in einem Jahr ins Leere führen. Eine archivierte Kopie mit Abrufdatum hält fest, was zum Zeitpunkt der Prüfung dort stand.

Nicht jede Frage hat eine eindeutige Antwort. In manchen Fachgebieten gibt es unterschiedliche, jeweils gut begründete Positionen. Eine Faktenprüfung sollte solche Fragen nicht entscheiden, sondern die Positionen mit ihren Belegen nebeneinander ausweisen. Das ist ehrlicher und lehrreicher als eine erzwungene Eindeutigkeit.

Außerdem altern Fakten. Gesetze ändern sich, Grenzwerte werden angepasst, Standards erscheinen in neuen Fassungen. Kurse sollten deshalb nicht nur einmal beim Erstellen, sondern regelmäßig geprüft werden, besonders in Rechts- und Compliance-Themen.

Dokumentieren Sie jede Prüfung so, dass sie sich später nachvollziehen lässt: welche Aussage, welche Quelle, welches Ergebnis, wer hat entschieden. Eine solche Akte hilft bei Rückfragen von Teilnehmern, bei Audits und bei der Frage, ob ein Kurs nach einer Gesetzesänderung angepasst werden muss. Sie zeigt außerdem, dass eine Organisation ihre Sorgfaltspflicht ernst nimmt.

In Universe werden prüfbare Aussagen beim Erzeugen einer Folie geprüft, bevor Grafik und Vertonung entstehen: zwei Sprachmodelle prüfen unabhängig, ein regelbasierter Richter führt die Urteile zusammen, Quellen werden abgerufen und als Nachweiskopie archiviert. Neben „belegt“ und „widerlegt“ gibt es „ungeprüft“; strittige Fragen werden mit beiden belegten Positionen ausgewiesen. Die Verwaltung legt fest, wie oft der ganze Bestand geprüft wird, und die Akte der Faktenprüfung zeigt jeden Vorgang auf Knopfdruck.