Datenschutz-Folgenabschätzung & KI – Risiken beim Einsatz von LLM bewerten

veröffentlicht am 6. Mai 2025 | Lesedauer ca. 3 Minuten

Bei Datenschutz-Folgenabschätzungen ist der Name Programm: Sie dienen dem Zweck, die Folgen von Datenverarbeitungen abzuschätzen. Sie sind verpflichtend, wenn Datenverarbeitungen voraussichtlich ein hohes Risiko mit sich bringen. Unternehmen können Large Language Models (LLM) auf der Grundlage künstlicher Intelligenz (KI) in unterschiedlichen Bereichen einsetzen. Es stellt sich die Frage, ob und inwieweit sie Risiken im Rahmen einer Datenschutz-Folgenabschätzung bewerten können und müssen.

Was ist datenschutzrechtlich geregelt? »
Wer ist für die Datenschutzfolgen-Abschätzung bei Einsatz eines LLM verantwortlich? »
Wann ist eine Datenschutzfolgen-Abschätzung erforderlich? »
Wie ist eine Datenschutzfolgen-Abschätzung für LLM durchzuführen? »
Fazit »

Was ist datenschutzrechtlich geregelt?

Die Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung (DS-FA) ergibt sich aus Art. 35 Datenschutz-Grundverordnung (DS-GVO). Voraussetzung für die Anwendbarkeit der DS-GVO ist zunächst, dass personenbezogene Daten verarbeitet werden. Inwieweit in LLM personenbezogene Daten gespeichert werden, wird in der rechtswissenschaftlichen Literatur und Rechtspraxis aktuell diskutiert (vgl. HmbBfDI, Diskussionspapier LLM und personenbezogene Daten). In typischen Anwendungsfällen von LLM werden die Eingabedaten, die Ausgabedaten oder der Anmeldeprozess jedoch einen Rückschluss auf identifizierte oder identifizierbare natürliche Personen zulassen, sodass die DS-GVO regelmäßig einschlägig ist.

Ergänzend soll darauf hingewiesen werden, dass auch die KI-Verordnung (KI-VO) rechtliche Vorgaben zum Einsatz von KI vorsieht. Im Falle von Hochrisiko-KI-Systemen können wesentliche Überschneidungen zwischen der DS-FA und der nach Art. 27 KI-VO erforderlichen Grundrechte-Folgenabschätzung bestehen. Dies könnte bspw. den Einsatz von LLM in Zusammenhang mit der Auswahl und Einstellung von Mitarbeitenden betreffen. Folglich können hier Synergieeffekte zwischen beiden Folgenabschätzungen geschaffen werden.

Wer ist für die Datenschutzfolgen-Abschätzung bei Einsatz eines LLM verantwortlich?

Die Pflicht zur Durchführung einer DS-FA trifft stets den datenschutzrechtlich Verantwortlichen, der über die Zwecke und Mittel der Datenverarbeitung entscheidet. Wer selbst KI-Lösungen entwickelt oder an den Markt bringt, steht datenschutzrechtlich vor einer Vielzahl an unterschiedlichen Herausforderungen, die im Rahmen einer DS-FA einer individuellen Betrachtung bedürfen. Dieser Artikel fokussiert sich daher auf Unternehmen, die LLM von Drittanbietern (wie OpenAI ChatGPT, Microsoft Copilot oder Google Gemini) für interne Zwecke einsetzen möchten. Typisches Beispiel wäre die Nutzung von LLM zur Zusammenfassung oder Formulierung von Texten oder Präsentationen. In diesen Fällen ist grundsätzlich das Unternehmen Verantwortlicher, welches LLM zu eigenen Zwecken einsetzt und seinen Mitarbeitenden die Nutzung gestattet. Bei den Drittanbietern der LLM handelt es sich im obigen Beispiel um Auftragsverarbeiter, mit denen eine entsprechende datenschutzrechtliche Vereinbarung über die weisungsgebundene Verarbeitung abzuschließen ist.

Wann ist eine Datenschutzfolgen-Abschätzung erforderlich?

Bevor eine DS-FA durchgeführt wird, gilt es zunächst, im Rahmen einer Schwellwert-Analyse zu ermitteln, ob diese überhaupt erforderlich ist. Dies ist der Fall, wenn eine Datenverarbeitung „voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat“ (Art. 35 Abs. 1 S. 1 DS-GVO). Diese abstrakten Anforderungen werden in der Vorschrift und den Erwägungsgründen der DS-GVO durch Regelbeispiele konkretisiert. Zudem haben die Aufsichtsbehörden eine sog. „Muss-Liste“ von Verarbeitungstätigkeiten veröffentlicht, für die eine DS-FA zu erfolgen hat. Diese stellen den Ausgangspunkt der Schwellwert-Analyse dar. In der rechtswissenschaftlichen Literatur wird diskutiert, dass beim Einsatz von KI grundsätzlich eine DS-FA durchzuführen sei. Dafür spricht, dass es sich bei KI zumindest aktuell noch um eine „neue“ Technologie handelt und regelmäßig große Datenmengen betroffen sind. Zwingend ist dies jedoch nicht, da auch Ausnahmefälle ohne ein hohes Risiko denkbar sind (vgl. BayLDA, KI & Datenschutz). Grundsätzlich gehen die Aufsichtsbehörden davon aus, dass beim Einsatz eines KI-Systems, in dem personenbezogene Daten verarbeitet werden, vielfach eine DS-FA gemäß Art. 35 DS-GVO erforderlich sein wird. (Datenschutzkonferenz, Orientierungshilfe Künstliche Intelligenz und Datenschutz, 2.3).

Wie ist eine Datenschutzfolgen-Abschätzung für LLM durchzuführen?

Bei der Durchführung einer DS-FA für LLM stellen sich in verschiedenen Schritten jeweils individuelle Herausforderungen (vgl. zu Inhalt und Aufbau Art. 35 Abs. 7 DS-GVO und Datenschutzkonferenz, Kurzpapier Nr. 5):

eine systematische Beschreibung der geplanten Verarbeitung und der Zwecke: Die systematische Beschreibung der Verarbeitung fällt in Bezug auf LLM, die häufig in verschiedenen Abteilungen zu verschiedenen Zwecken eingesetzt werden können, regelmäßig schwer. Hier bietet sich die Definition typischer Use-Cases in einer Whitelist oder der Ausschluss bestimmter Einsatzfelder in einer Blacklist an. Dabei muss bei KI von Drittanbietern in der Regel auf deren Informationen zurückgegriffen werden. Dies wird von den Drittanbietern durch sog. „Model Cards“ realisiert.
eine Bewertung der Notwendigkeit und Verhältnismäßigkeit der Verarbeitungsvorgänge in Bezug auf den Zweck: Auch die Bezugnahme auf den Zweck der Datenverarbeitung kann bei LLM mit vielfältigen Einsatzszenarien schwerfallen und bedarf häufig einer Annäherung durch Fallbeispiele.
eine Bewertung der Risiken für die Rechte und Freiheiten der betroffenen Personen: Beim Einsatz von LLM gilt es, die spezifischen Risiken rund um KI in die Bewertung einzustellen, wie etwa die Halluzination falscher Fakten, mangelnde Transparenz oder Memorization, d. h., die Wiedergabe von Trainingsdaten im Klartext.
die zur Bewältigung der Risiken geplanten Abhilfemaßnahmen: Zur Bewältigung dieser Risiken müssen konkrete technische oder organisatorische Abhilfemaßnahmen geschaffen werden. Setzt ein Unternehmen LLM eines Drittanbieters ein, sind neben einigen Standard-Einstellungen technische Maßnahmen in der Regel kaum umsetzbar. Es verbleibt daher häufig bei organisatorischen Maßnahmen, wie der Einführung einer KI-Policy und verpflichtenden Anwenderschulungen.

Zu etlichen dieser Herausforderungen gibt es bereits erste Empfehlungen der Aufsichtsbehörden. Einen Überblick über die jeweils aktuellen Entwicklungen bietet der „Orientierungshilfen-Navigator KI & Datenschutz (ONKIDA)“ des LfDI Baden-Württemberg. Dennoch können diese nur erste Anhaltspunkte bieten, aber eine individuelle Risikobewertung für das konkrete Unternehmen nicht ersetzen.

Fazit

Betreiben Unternehmen LLM, geht dies regelmäßig mit der Verarbeitung personenbezogener Daten einher. Vor deren Einsatz sollte daher – auch bei einer rein internen Nutzung – eine Schwellwert-Analyse durchgeführt werden. Ziel ist es, zu ermitteln, ob der geplante Einsatz der LLM ein hohes Risiko für natürliche Personen birgt. In vielen Fällen wird dies zum Ergebnis führen, dass eine DS-FA erforderlich ist. Dann sollte eine sorgfältige Durchführung und Dokumentation unter Berücksichtigung der Besonderheiten von KI im Allgemeinen und LLM im Besonderen erfolgen. Erste Anhaltspunkte können Orientierungshilfen der Datenschutzbehörden bieten.