DSGVO-Compliance bei Einsatz von ChatGPT & Co.

Die neue KI-Verordnung der EU ist derzeit ein viel diskutiertes Thema. Die Nutzung von Künstlicher Intelligenz (KI) bietet Unternehmen zahlreiche Möglichkeiten zur Effizienzsteigerung und Innovation. Doch gerade bei der Verwendung von KI aus Drittstaaten, wie beispielsweise ChatGPT aus den USA oder DeepSeek aus China, müssen Unternehmen eine Vielzahl rechtlicher Anforderungen beachten. Diese ergeben sich nicht nur aus der KI-Verordnung, sondern auch aus der Datenschutz-Grundverordnung (DSGVO), denn bei der KI-Nutzung werden fast immer auch personenbezogene Daten verarbeitet.

Anwendungsbereich der DSGVO: Auch für Trainingsdaten eröffnet

Der Bayerische Landesbeauftragte für den Datenschutz (BayLfD) hat dieses Thema in seiner Kurz-Information Ende März 2025 aufgegriffen und die datenschutzrechtlichen Anforderungen an den Einsatz von KI aus nicht-EU-Ländern zusammengefasst. Obwohl sich die Kurz-Information ausdrücklich nur an die bayerische Verwaltung richtet, gelten entsprechende Vorgaben auch für alle anderen Unternehmen, die KI einsetzen.

Der BayLfD stellt klar, dass der Anwendungsbereich der DSGVO nicht nur eröffnet ist, wenn bei der produktiven Nutzung der KI personenbezogene Daten eingegeben werden, sondern bereits dann, wenn lediglich die Trainingsdaten Personenbezug aufweisen. Dies hatte der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit zuletzt noch deutlich differenzierter betrachtet. Zudem würden hiernach auch personenbezogene Daten der Arbeitnehmer verarbeitet, die das KI-System nutzen. Dies betrifft etwa Anmeldedaten oder Eingabedaten bzw. Prompts. Bei Verwendung von Large Language Models (LLMs) wie ChatGPT, Gemini oder DeepSeek müssen Unternehmen also immer darauf achten, auch die DSGVO einzuhalten.

Allgemeine Anforderungen: Unternehmen als Betreiber und Verantwortliche

Im Hinblick auf die datenschutzrechtliche Verantwortlichkeit gilt nach Ansicht des BayLfD: Setzt ein Unternehmen KI-Systeme ein und ist damit ein Betreiber im Sinne der KI-Verordnung, ist es gleichzeitig Verantwortlicher im Sinne der DSGVO für alle Datenverarbeitungen, die im Zusammenhang mit der KI-Nutzung erfolgen. Dies gilt insbesondere für die Eingabe personenbezogener Daten in die KI, aber auch für personenbezogene Daten von Arbeitnehmern, die auf Veranlassung des Verantwortlichen verarbeitet werden, oder für eigene Trainingsdaten.

Wurde die KI bereits zuvor mit personenbezogenen Daten trainiert, ist hierfür aus datenschutzrechtlicher Sicht in der Regel der Anbieter des KI-Systems verantwortlich und muss sicherstellen, dass alle datenschutzrechtlichen Vorgaben eingehalten wurden.

In solchen Fällen muss der datenschutzrechtlich Verantwortliche die DSGVO einhalten. Es muss beispielsweise jede Verarbeitung personenbezogener Daten auf einer gültigen Rechtsgrundlage beruhen (z. B. einer Einwilligung des Betroffenen), die Daten dürfen nur für den vorab festgelegten Zweck verarbeitet werden und jede Person, deren Daten durch die KI-Systeme verarbeitet werden, sind hierüber vorab zu informieren (Art. 12 ff. DSGVO). Zudem haben betroffene Personen Rechte auf Auskunft, Berichtigung oder Löschung ihrer Daten (Art. 15 ff. DSGVO). Die Umsetzung dieser Rechte ist erschwert, wenn personenbezogene Daten auch als Trainingsdaten genutzt werden und eine Löschung der aggregierten Daten aus dem Trainingsdatensatz nicht mehr möglich ist. Viele KI-Anbieter sehen allerdings eine Einstellungsmöglichkeit vor, mit der die Verwendung eigener Daten zu Trainingszwecken deaktiviert werden kann.

Außerdem muss festgelegt werden, wie der KI-Anbieter datenschutzrechtlich zu bewerten ist. Sofern es sich um eine Auftragsverarbeitung nach Art. 28 DSGVO handelt, muss mit dem KI-Anbieter zwingend ein entsprechender Auftragsverarbeitungsvertrag geschlossen werden. Dieser muss tatsächlich in der Lage sein, einen ausreichenden, der DSGVO entsprechenden Schutz der Daten sicherzustellen.

Jedenfalls bei Anbietern, die nicht transparent über die Weiterverarbeitung der personenbezogenen Daten informieren, empfiehlt der BayLfD bayerischen öffentlichen Stellen, auf die Beauftragung zu verzichten. Im Zweifelsfall sei der On-Premise-Betrieb von KI stets die sicherste Variante.

Besondere Anforderungen bei KI aus Drittstaaten

Bei der Nutzung von KI-Anwendungen aus Drittstaaten (auch den USA!) kommen zusätzliche Anforderungen aus den Art. 44 ff. DSGVO ins Spiel, die die Rechtmäßigkeit der Übermittlung personenbezogener Daten an Drittstaaten regeln. Dies gilt ausdrücklich auch dann, wenn lediglich Meta- oder Telemetriedaten übermittelt werden. Vor der Verwendung solcher KI-Systeme müssen Unternehmen sicherstellen, dass für die Datenübermittlung entweder ein Angemessenheitsbeschluss der Europäischen Kommission vorliegt – bei den USA bedeutet dies, dass sich das konkrete Unternehmen dem EU-US Data Privacy Framework unterworfen haben muss – oder aber dass sonstige geeignete Garantien gemäß Art. 46 DSGVO vorliegen. Regelmäßig ist dies die Vereinbarung von Standarddatenschutzklauseln (Standard Contractual Clauses, SCC) entsprechend dem Entwurf der Europäischen Kommission. Wird eine Datenübermittlung in die USA allein auf das Data Privacy Framework gestützt, ist dies allerdings mit Vorsicht zu genießen, denn aufgrund der aktuellen politischen Entwicklung in den USA ist nicht auszuschließen, dass die EU-Kommission diesen Angemessenheitsbeschluss aussetzen wird.

Außerdem stellt der BayLfD die Pflichten der KI-Anbieter aus Drittländern dar. Dies betrifft insbesondere die Benennung eines Vertreters in der EU (Art. 27 DSGVO). Er weist außerdem darauf hin, dass KI-Anbieter aus Drittländern, die als Auftragsverarbeiter tätig werden, eine Datenverarbeitung im Einklang mit der DSGVO sicherstellen müssen. Erhebt ein KI-Anbieter jedoch bspw. Anmeldedaten und Eingabeaufforderungen ohne eine entsprechende Weisung des Nutzers oder nutzt er sie zu eigenen Zwecken wie dem Weitertraining der KI, gilt er selbst als Verantwortlicher im Sinne der DSGVO und muss die entsprechenden Pflichten umsetzen.

Erhöhtes Abmahn-Risiko bei DSGVO-Verstößen

Als wären diese Anforderungen nicht schon schwierig genug umzusetzen, hat der BGH zuletzt in insgesamt drei aktuellen Urteilen (I ZR 186/17, I ZR 222/19, I ZR 223/19) die Rechte von Verbraucherverbänden und Mitbewerbern gestärkt, die DSGVO-Verstöße ebenfalls abmahnen und Ansprüche auf Unterlassung und Schadensersatz geltend machen können.

Bei fehlender DSGVO-Compliance drohen also nicht nur Bußgelder der Aufsichtsbehörden oder Klagen betroffener Personen. Es ist zu erwarten, dass Verbraucherverbände und Mitbewerber künftig aktiver werden und Ansprüche wegen einfach zu überprüfender Dinge wie der Erfüllung von Informationspflichten im Internet (in der Regel über die Datenschutzerklärung) oder fehlende und unzureichende Einwilligungsformulare abmahnen werden.

Es ist in diesem Zusammenhang zu erwarten, dass Unternehmen zur Abgabe strafbewehrter Unterlassungserklärungen aufgefordert werden. Eine solche Erklärung wird nach unserer Erfahrung von Unternehmen schnell abgegeben, denn die Angelegenheit scheint damit zunächst erledigt. Wird der Verstoß allerdings dann nicht abgestellt oder wiederholt, drohen schnell empfindliche Vertragsstrafen in teilweise fünfstelliger Höhe.

Um hierauf vorbereitet zu sein, sollte insbesondere die von außen überprüfbare DSGVO-Compliance auf dem aktuellen Stand sein. Im Hinblick auf die eigene Website gilt es, u. a. folgende Punkte zu beachten:

• Aktuelle und vollständige Datenschutzhinweise;
• Einholung ggf. notwendiger Einwilligungserklärungen;
• ggf. Information über eine gemeinsame Verantwortlichkeit nach Art. 26 DSGVO;
• ggf. Information über eine Videoüberwachung im Außenbereich

KI-Kompetenz

Zusätzlich besteht wegen der KI-Verordnung Handlungsbedarf: Bereits seit dem 2. Februar müssen alle Unternehmen, die KI-Systeme einsetzen, durch entsprechende Schulungsmaßnahmen sicherstellen, dass ihre Mitarbeitenden die erforderliche KI-Kompetenz („AI Literacy“) aufweisen (Art. 4 KI-VO). Nähere Informationen finden Sie in diesem Beitrag. Aktuell führen wir viele KI-Kompetenz-Schulungen bei unseren Mandanten durch.