Der Algorithmus als „Entscheider“ - Automatisierte Entscheidungen durch KI

Eine automatisierte Entscheidungsfindung umfasst sämtliche Vorgänge, bei denen personenbezogene Daten durch Algorithmen verarbeitet werden, um Entscheidungen mit rechtlicher oder ähnlich erheblicher Wirkung zu treffen. Dies geschieht immer häufiger auch mit Hilfe von KI-Systemen, Beispiele reichen von der automatisierten Kreditwürdigkeitsprüfung über Algorithmen gestützte Bewerberauswahl bis hin zu dynamischen Preisgestaltungen im E-Commerce. Für Unternehmen ergeben sich daraus Effizienzgewinne, zugleich aber erhebliche datenschutzrechtliche Implikationen.

Art. 22 Abs. 1 DSGVO statuiert grundsätzlich ein Verbot, Personen einer ausschließlich auf automatisierter Verarbeitung – einschließlich Profiling – beruhenden Entscheidung zu unterwerfen, sofern diese rechtliche Wirkung entfaltet oder die betroffene Person in ähnlicher Weise erheblich beeinträchtigt. Der Schutzzweck liegt darin, den Einzelnen davor zu bewahren, einer allein auf Algorithmen basierenden Bewertung ausgeliefert zu sein und die Möglichkeit menschlichen Eingreifens sicherzustellen.

Das bedeutet: Wann immer eine Entscheidung ohne menschliches Zutun getroffen wird, die erhebliche Auswirkungen auf eine betroffene Person hat, muss der Einsatz solcher KI-Systeme besonders gerechtfertigt und transparent sein. Ausnahmen sind nur in den engen Grenzen des Art. 22 Abs. 2 DSGVO zulässig, etwa wenn die Entscheidung (a) für den Abschluss oder die Erfüllung eines Vertrags erforderlich ist, (b) auf einer gesetzlichen Grundlage beruht oder (c) mit ausdrücklicher Einwilligung der betroffenen Person erfolgt. In den Fällen a und b sind zusätzliche Schutzmaßnahmen nach Art. 22 Abs. 3 DSGVO verpflichtend, insbesondere das Recht auf menschliches Eingreifen, das Recht auf Darlegung des eigenen Standpunkts sowie das Recht auf Anfechtung der Entscheidung.

Ein weiteres zentrales Element des Art. 22 DSGVO ist die Transparenzpflicht. Betroffene Personen müssen gemäß Art. 13 Abs. 2 lit. f und Art. 14 Abs. 2 lit. g DSGVO bereits bei der Datenerhebung über das Vorliegen automatisierter Entscheidungsfindung, die zugrunde liegende Logik sowie die Tragweite und angestrebten Auswirkungen informiert werden. Für KI-Systeme, insbesondere im Bereich des maschinellen Lernens, stellt dies eine erhebliche Herausforderung dar, da die Entscheidungsfindung häufig nicht vollständig erklärbar ist (sog. „Black-Box-Problematik“).

Verantwortliche sollten daher bereits bei der Gestaltung ihrer KI-Systeme geeignete Maßnahmen zur Erklärbarkeit und Nachvollziehbarkeit implementieren. Dies kann durch technische Dokumentation, verständliche Erläuterungen für die Betroffenen und regelmäßige Überprüfungen der Algorithmen auf Diskriminierungsfreiheit und Fehleranfälligkeit geschehen.

Weitere Maßnahmen zur Wahrung der Betroffenenrechte im Rahmen des Datenverarbeitungs- und Bewertungsprozesses finden sich in Satz 6 des Erwägungsgrunds 71 DSGVO. Zur Sicherstellung einer fairen und transparenten Verarbeitung soll der Verantwortliche geeignete mathematische oder statistische Verfahren verwenden sowie technische und organisatorische Maßnahmen ergreifen, mit denen in geeigneter Weise sichergestellt wird, dass insbesondere das Risiko von Fehlern minimiert bzw. Fehler korrigiert werden und personenbezogene Daten in einer Weise gesichert werden, dass den potenziellen Bedrohungen für die Interessen und Rechte der betroffenen Person Rechnung getragen wird, und zu verhindern, dass es gegenüber der betroffenen Person zu diskriminierenden Wirkungen kommt.

Für Unternehmen bedeutet dies, dass sie nicht nur technische, sondern auch organisatorische Vorkehrungen treffen müssen, um die Wahrnehmung der Betroffenenrecht zu ermöglichen.

Die KI-VO ergänzt die DSGVO und konkretisiert diese durch einen risikobasierten Ansatz, der für Hochrisiko-KI-Systeme – zu denen automatisierte Entscheidungsfindungen häufig zählen – strenge Anforderungen vorsieht.

Dazu gehören beispielsweise spezifische Transparenzpflichten: KI-Anbieter und Betreiber müssen offenlegen, ob und wie personenbezogene Daten verarbeitet werden, wie die zugrundeliegende Logik der Entscheidung funktioniert und welche Auswirkungen dies für die betroffenen Personen hat. Zudem sind Maßnahmen zur Sicherstellung der Datenqualität und zur Vermeidung von Ergebnisverzerrungen (Bias) verpflichtend.

Hochrisiko-KI-Systeme unterliegen einer umfassenden Dokumentations- und Überwachungspflicht, einschließlich der Durchführung von Datenschutz-Folgenabschätzungen und der Gewährleistung menschlicher Aufsicht (sog. „Human-in-the-Loop“).

Die KI-VO schreibt damit zusätzliche Schutzmechanismen vor, die über die allgemeinen Vorgaben des Art. 22 DSGVO hinausgehen und eine verantwortungsvolle Nutzung von KI-Systemen sicherstellen sollen.

​

Die Implementierung von KI-Systemen im Einklang mit Art. 22 DSGVO erfordert eine sorgfältige Risikoabwägung und das Ergreifen entsprechende Maßnahmen für eine (datenschutz-) rechtliche Compliance. Unternehmen sollten bereits bei der Entwicklung und Auswahl von KI-Systemen datenschutzrechtliche Anforderungen berücksichtigen („Privacy by Design“).

Dazu kann auch die Durchführung einer Datenschutz-Folgenabschätzung nach Art. 35 DSGVO gehören, insbesondere wenn ein hohes Risiko für die Rechte und Freiheiten der betroffenen Personen besteht. Zudem empfiehlt es sich, interne Prozesse zur regelmäßigen Überprüfung und Anpassung der eingesetzten Algorithmen zu etablieren. Die Dokumentation der Entscheidungsfindung, die Schulung der Mitarbeiter und die enge Zusammenarbeit mit dem betrieblichen Datenschutzbeauftragten sind essenziell, um den rechtlichen Anforderungen gerecht zu werden und das Vertrauen der betroffenen Personen in KI-gestützte Entscheidungen zu stärken.

Art. 22 DSGVO setzt dem Einsatz von KI in der automatisierten Entscheidungsfindung klare rechtliche Grenzen und stellt hohe Anforderungen an Transparenz, Nachvollziehbarkeit und die Wahrung der Betroffenenrechte. Für Unternehmen bedeutet dies, dass der Einsatz von KI-Systemen nicht nur rechtliche, sondern vor allem auch technische und organisatorische Herausforderungen mit sich bringt.

Unternehmen sollten daher frühzeitig prüfen, ob ihre KI-Systeme in den Anwendungsbereich von Art. 22 DSGVO fallen. Es empfiehlt sich, technische und organisatorische Maßnahmen zur Nachvollziehbarkeit und Erklärbarkeit der KI-Systeme zu etablieren, gegebenenfalls erforderliche Datenschutz-Folgenabschätzungen durchzuführen und die Qualität der verarbeiteten Daten kontinuierlich zu überwachen. Nur durch eine konsequente Umsetzung dieser Anforderungen lassen sich rechtliche Risiken minimieren und das Vertrauen der betroffenen Personen in KI-gestützte Entscheidungsprozesse stärken.​​