Datenschutz bei KI im Lernen: DSGVO und KI-Verordnung

Wer KI in Lernangeboten einsetzt, bewegt sich in zwei Rechtsrahmen. Die Datenschutz-Grundverordnung gilt für jede Verarbeitung personenbezogener Daten, also auch für Fragen an einen KI-Tutor, Sprachaufnahmen, Lernstände und Prüfungsergebnisse. Die KI-Verordnung (Verordnung (EU) 2024/1689) regelt KI-Systeme selbst: welche Praktiken verboten sind, welche Einsätze als hochriskant gelten und welche Transparenzpflichten bestehen.

Beide Regelwerke gelten nebeneinander. Ein KI-System kann nach der KI-Verordnung zulässig sein und trotzdem gegen die DSGVO verstoßen, wenn es Daten ohne Rechtsgrundlage verarbeitet, und umgekehrt.

Der erste Schritt ist ein klares Bild der Datenflüsse. Bei einer typischen Frage im Kurs wird gesprochene Sprache in Text umgewandelt, der Text mit dem Kursinhalt an ein Sprachmodell geschickt, die Antwort geprüft, in Sprache umgewandelt und gegebenenfalls von einem Avatar gesprochen. Jeder dieser Schritte kann bei einem anderen Dienst und an einem anderen Ort stattfinden.

Artikel 5 der KI-Verordnung verbietet bestimmte Praktiken, darunter KI-Systeme, die Emotionen natürlicher Personen am Arbeitsplatz und in Bildungseinrichtungen ableiten, außer aus medizinischen oder Sicherheitsgründen. Diese Verbote gelten seit dem 2. Februar 2025. Ein System, das aus Kamerabildern ableiten will, ob Teilnehmer gelangweilt oder gestresst sind, ist damit im Bildungsbereich grundsätzlich unzulässig.

Anhang III stuft unter anderem KI-Systeme als hochriskant ein, die über Zugang oder Zulassung zu Bildungseinrichtungen entscheiden, Lernergebnisse bewerten, das angemessene Bildungsniveau bestimmen oder verbotenes Verhalten in Prüfungen überwachen. Für solche Systeme gelten strenge Pflichten, etwa Risikomanagement, Datenqualität, Dokumentation, Protokollierung, menschliche Aufsicht und Genauigkeit. Den genauen Geltungsbeginn dieser Pflichten sollte man anhand der aktuellen Fassung im Amtsblatt prüfen.

Auch die DSGVO setzt Grenzen. Nach Artikel 22 haben Menschen grundsätzlich das Recht, keiner ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie ähnlich erheblich beeinträchtigt. Eine Prüfungsnote, die über Bestehen oder Nichtbestehen entscheidet, kann eine solche Entscheidung sein.

Die praktische Folge: KI darf Vorschläge machen, etwa eine Vorbewertung anhand eines Rasters. Die Entscheidung trifft ein Mensch, der den Vorschlag tatsächlich prüft und abweichen kann. Ein bloßes Abnicken genügt nicht.

Teilnehmer sollten wissen, wo KI eingesetzt wird, was sie tut und was mit ihren Daten geschieht. Dazu gehört eine verständliche Datenschutzinformation, eine sichtbare Kennzeichnung von KI-Sprechern und KI-Antworten und eine Antwort auf die Frage, wer Bewertungen trifft.

Für die Organisation selbst sind das Verzeichnis der Verarbeitungstätigkeiten, Verträge zur Auftragsverarbeitung mit allen Diensten und bei hohem Risiko eine Datenschutz-Folgenabschätzung Pflicht. Ein Anbieter sollte dafür eine Übersicht liefern, welche Art von Dienst wofür eingesetzt wird, wo er arbeitet und was er zu sehen bekommt.

In Universe gehen an Sprachmodelle Kursinhalt als Zusammenhang und die Frage, keine Namen oder Kontodaten. Die Spracherkennung arbeitet in der EU und verweigert lieber den Dienst, als auf einen Anbieter außerhalb der EU auszuweichen; Avatare laufen auf selbst betriebenen Grafikrechnern in der EU. Welche Textmodelle genutzt werden, entscheidet jeder Mandant; eines arbeitet in der EU (Paris). KI bewertet nicht und entscheidet nicht: Bei Arbeiten gibt es einen Notenvorschlag, die Note setzt ein Mensch, und es gibt bewusst keinen KI-Wert für Täuschung.