AI-Act: Vorläufiges Ergebnis der Trilog-Verhandlungen geleakt

Seit fast drei Jahren wird darüber spekuliert, wie die finale Version der EU Verordnung zur Regulierung Künstlicher Intelligenz („AI-Act“) aussehen wird. So lange ist es inzwischen her, dass die EU-Kommission einen ersten Entwurf für die Verordnung veröffentlicht hat (wir berichteten). Im Dezember haben sich die EU-Institutionen vorläufig geeinigt, doch bislang beschränkten sich die Informationen auf die im Pressetermin bekanntgegebenen Details (mehr dazu hier). Jetzt wurde der Inhalt der vorläufigen Einigung geleakt und auch wenn die finale Fassung noch nicht veröffentlicht wurde, dürfte nur noch mit kleineren Änderungen zu rechnen sein. Dabei ergeben sich sowohl aus Compliance- als auch aus urheberrechtlicher Perspektive noch erhebliche Änderungen. Allerdings können Unternehmen, die bereits mit der Umsetzung begonnen haben, überwiegend auf ihren bisherigen Bemühungen aufbauen.

A. Neue Inhalte

Auffällig ist, dass die vorläufige Fassung des AI-Act nun an vielen Stellen den Fokus darauf setzt, dass der AI-Act die Vertrauenswürdigkeit von KI sicherstellen soll und auch Themen wie der Umweltschutz werden in den Vordergrund gestellt, wobei es sich vor allem um eine politische Entscheidung handeln dürfte. Vom Anwendungsbereich ausgenommen wurden hingegen KI-Systeme, die ausschließlich für wissenschaftliche Forschung und Entwicklung verwendet werden.

Außerdem sind die Regeln zu sog. regulatorischen Sandboxes weiter ausgestaltet worden, in denen innovative KI-Systeme unter regulatorische Aufsicht – wenn möglich – unter realen Bedingungen getestet werden können.

Drüber hinaus springt ins Auge, dass der Begriff „User“ (Nutzer) nun durch „Deployer“ (wohl Anwender) ersetzt wurde, was allerdings nicht zu einer inhaltlichen Änderung geführt hat. Die wichtigsten Änderungen im aktuellen Entwurf betreffen dagegen die folgenden Punkte:

1. Weitere KI mit inakzeptablem Risiko

Die Liste der KI mit inakzeptablem Risiko, die in jedem Fall verboten ist, wurde noch einmal angepasst. So soll etwa KI zum Predicitive Policing weiterhin verboten sein, jedoch nicht, wenn es schon konkrete Anhaltspunkte dafür gibt, dass die Person an der Straftat beteiligt war. Darüber hinaus sollen auch KI-Systeme, die Gesichtserkennungsdatenbanken erstellen oder erweitern, indem sie Gesichtsbilder aus dem Internet oder Aufnahmen von Überwachungskameras ziellos auslesen, sowie Systeme zur Emotionserkennung am Arbeitsplatz verboten sein, es sei denn, letztere dienen medizinischen oder sicherheitstechnischen Gründen (z. B. Überwachung hinsichtlich Ermüdung).

2. Biometrische Identifizierungen

Der wichtigster Streitpunkt hinsichtlich verbotener KI war jedoch der Einsatz von KI zur Erfassung und Auswertung biometrischer Daten. Hier verfolgte das Parlament einen Ansatz, der Privatsphäre und personenbezogene Daten deutlich stärker schützen sollte als dies im aktuellen Entwurf tatsächlich vorgesehen ist.

Verboten ist nun KI zur biometrischen Kategorisierung mit dem Ziel, Rückschlüsse auf die Rasse, politische Meinung, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen, das Sexualleben oder die sexuelle Ausrichtung natürlicher Personen zu ziehen. Es gibt jedoch eine Ausnahme für die Nutzung zur Kennzeichnung und Filterung rechtmäßig erworbener biometrischer Datensätze sowie im Bereich der Strafverfolgung (Art. 5 Abs. 1 lit. ba AI-Act).

Das Verbot biometrischer Echtzeit-Fernidentifizierungssysteme in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken hat ebenfalls Einschränkungen erfahren, und ist etwa bei der Nutzung zur Suche nach Opfern von Entführungen, Menschenhandel und sexueller Ausbeutung sowie zur Suche nach Vermissten zulässig. Zudem ist die nachträgliche Nutzung solcher Systeme (mindestens 48 Stunden nach Aufzeichnung) fast uneingeschränkt möglich. Allerdings darf die biometrische Echtzeit-Fernidentifizierung nur angewandt werden, um die Identität eines konkreten gesuchten Individuums zu bestätigen. Außerdem muss die Strafverfolgungsbehörde zuvor ein „fundamental rights impact assessment“ gemäß Art. 29a AI-Act durchführen und das KI-System registrieren (mit Ausnahmen für Eilfälle). Außerdem darf eine für die betroffene Person nachteilige bindende Entscheidung nicht alleine auf Grundlage der Entscheidung der biometrischen Echtzeit-Fernidentifizierung getroffen werden.

3. General Purpose AI statt KI-Basismodellen

Der Begriff General Purpose AI (GPAI) war schon aus den Presseberichten zur Einigung bekannt. Nun ist klar, dass GPAI die zunächst geplanten Foundation Models (KI Basismodelle) ersetzen soll. Bei GPAI handelt es sich um KI, die mit einer großen Datenmenge trainiert wurde, in der Lage ist, ein großes Spektrum an unterschiedlichen Aufgaben durchzuführen und in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann, etwa ChatGPT oder Bildgeneratoren. Für GPAI verfolgt die EU nun einen gestuften Ansatz. So gelten für alle Anbieter von GPAI die folgenden Pflichten:

• Vorhalten einer Technische Dokumentation (inklusive Training und Tests);
• Information von KI-Anbietern, die GPAI integrieren wollen;
• Berücksichtigung von EU Urheberrecht (dazu unten mehr);
• Information über Trainingsdaten.

Diese Pflichten werden für GPAI mit systemischem Risiko auf Unionsebene noch ergänzt. Dabei handelt es sich insbesondere um Systeme mit einer sehr hohen Rechenleistung, es werden jedoch auch andere KI-Systeme erfasst, für die eine entsprechende Einstufung durch die EU-Kommission erfolgt ist. Neben einer Meldepflicht kommt auf diese insbesondere Folgendes zu:

• Durchführung von Modellevaluierungen;
• Untersuchung und Minimieren systemischer Risiken auf EU-Ebene;
• Cybersecurity auch der physischen Infrastruktur.

4. Hochrisiko-Systeme

Auch hinsichtlich Hochrisiko-KI, die insbesondere für Anbieter die umfassendsten Pflichten mit sich bringt, hat es noch einmal Änderungen gegeben. So wurden die Ausnahmen von Hochrisiko-KI noch weiter konkretisiert. Außerdem soll die Kommission spätestens 18 Monate nach Inkrafttreten der Verordnung eine Liste mit Beispielen für Hochrisiko- und nicht-Hochrisiko-KI zur Verfügung stellen, sodass die Einstufung künftig einfacher wird. Auch die Ausnahmekriterien können durch delegierte Rechtsakte erweitert oder beschränkt werden.

Vereinfachungen gibt es dadurch, dass der AI-Act nun ausdrücklich festlegt, dass Unternehmen die notwendigen Prozesse und Dokumentationen bezüglich Hochrisiko-KI in bestehende Dokumente oder Prozesse gemäß anderen harmonisierten Vorschriften integrieren können. Zudem sollen sich Maßnahmen zur Risikominderung noch stärker an dem mit dem jeweiligen System verbundenen Risiko orientieren und auch die Risikoanalyse nach Art. 9 AI-Act soll nur diejenigen Risiken in Hinblick auf Gesundheit, Sicherheit oder Grundrechte berücksichtigen, die das KI-System bei Verwendung in Übereinstimmung mit dem vorgesehenen Zweck mit sich bringt. Allerdings soll in die Risikoanalyse nicht nur der potentielle Einfluss solcher Systeme auf „Kinder“ einfließen, sondern auf alle Personen unter 18 Jahren sowie Angehörige vulnerabler Gruppen.

Weitere Anforderungen betreffen die Vorab-Information von Angestellten über Hochrisiko-KI am Arbeitsplatz sowie die Barrierefreiheit von Hochrisiko-KI.

Schließlich wurden die Ausnahmen für KMU hinsichtlich der technischen Dokumentation erweitert. KMU dürfen diese künftig in vereinfachter Form bereitstellen. Hierfür wird die Kommission noch eine (verbindlich zu verwendende) Vorlage veröffentlichen.

5. Aufbewahrungsfristen

Für viele Dokumente legt der neueste Entwurf nun Mindestaufbewahrungsfristen fest, etwa die folgenden:

• Dokumentationen bei Hochrisiko-KI (Technische Dokumentation, Dokumentation des Qualitätsmanagements, Dokumentation der von der notifizierten Stelle genehmigten Änderungen, andere Dokumente der notifizierten Stelle, Konformitätserklärung): 10 Jahre, nachdem das KI-System auf den Markt gekommen ist;
• Automatisch von Hochrisiko-KI erzeugte Protokolle: mindestens 6 Monate (von Anbietern und Nutzern);
• Dokumente bzgl. der Überprüfung von Unterauftragnehmern: mindestens 5 Jahre;
• Dokumente bei Einführung von KI (technische Dokumentation, Konformitätserklärung…): mindestens 10 Jahre, nachdem das KI-System auf den Markt gekommen ist.

6. Kennzeichnungspflichten

Auch bei den Kennzeichnungspflichten für bestimmte KI gab es noch einige Änderungen. So wurde die Kennzeichnungspflicht für Deepfakes grundsätzlich eingeschränkt, jedenfalls wenn deren Verwendung zur Verfolgung und Verhütung von Straftaten autorisiert ist, sowie bei Inhalten, die Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen, analogen Werks oder Programms sind (hier nur Kennzeichnung, dass es sich um ein solches Werk oder Programm handelt). Allerdings besteht nun eine Kennzeichnungspflicht für künstliche Ton-, Bild-, Video- oder Text-Dateien die von GPAI erzeugt wurden.

Außerdem soll es eine Kennzeichnungspflicht für mit KI-Systemen generierte Texte geben, sofern diese ohne menschliche Kontrolle veröffentlicht werden, um die Öffentlichkeit über Dinge in öffentlichem Interesse zu informieren.

Im Übrigen bleibt es bei den geplanten Kennzeichnungspflichten für Emotionserkennungssysteme und für Systeme zur biometrischen Kategorisierung sowie zur Offenlegung bei Systemen, die zur Interaktion mit natürlichen Personen bestimmt sind.

B. Folgen für das Urheberrecht

Von den Änderungen im AI-Act sind auch die Regelungen zum Urheberrecht und den verwandten Schutzrechten betroffen, die wir nachfolgend vorstellen. Vor allem: Welche Transparenzpflichten sollen nun für KI-Modelle gelten?

1. Was wurde aus dem Vorschlag zu Art. 28b AI Act?

Noch im Juni 2023 veröffentlichte das EU-Parlament einen Kompromissvorschlag zum AI-Act, dessen Gegenstand ein neu eingefügter Art. 28b AI-Act war. Dieser sollte insbesondere Transparenzpflichten schaffen, wonach Anbieter generativer KI-Modelle eine ausreichend detaillierte Zusammenfassung zur Verwendung von urheberrechtlich geschützten Trainingsdaten dokumentieren und öffentlich zugänglich machen sollten.

Zuletzt zog die amerikanische Zeitung „New York Times“ gerichtlich gegen den ChatGPT-Anbieter OpenAI und Microsoft, der ChatGPT bei seiner Suchmaschine Bing einsetzt, vor Gericht. Nach Angaben der New York Times hätten die Unternehmen mehrere Millionen Artikel dazu verwendet, um die KI damit zu trainieren und somit das Urheberrecht verletzt.

Umso erstaunlicher ist es nun, dass der Art. 28b AI-Act nicht übernommen worden ist.

Vielmehr enthält der AI-Act nun die aus urheberrechtlicher Sicht besonders relevanten Erwägungsgründe 60f - 60ka, die wiederum Teile des Art. 28b-Vorschlags aufgreifen.

Die Struktur ist dabei die Folgende:

• Erwägungsgrund 60f: Open-Source KI-Modelle
• Erwägungsgrund 60g: KI-Modelle für nichtgewerbliche oder wissenschaftliche Forschungszwecke
• Erwägungsgrund 60i: Große generative KI-Modelle
• Erwägungsgrund 60j: Einhaltung der EU-Urheberrechtsrichtlinie und verwandter Schutzrechte
• Erwägungsgrund 60k: Kriterienkatalog für die Entwicklung und das Training von KI-Modellen
• Erwägungsgrund 60ka: Überwachung der Verpflichtungen durch das AI Office

Im geleakten Entwurf bleibt noch unklar, wo diese Regelungen letztendlich im AI-Act verankert werden. Als Erwägungsgründe allein wären die Transparenzpflichten kaum erfolgreich durchzusetzen. Deren Kern soll wohl noch in ein „GPAI Chapter“ des AI-Acts überführt werden.

2. Die Regelungen im Einzelnen

Für die unterschiedlichen KI-Modelle gilt künftig ein gestuftes Regelungskonzept, das insbesondere für große generative KI-Modelle eine strikte Regelung vorsieht.

Im Hinterkopf sollte bei der Betrachtung des Regelungskonzepts stets das von der EU verfolgte Ziel des AI-Acts sein:

„Ziel dieser Verordnung ist es, die Einführung von menschenzentrierter und vertrauenswürdiger künstlicher Intelligenz zu fördern und ein hohes Maß an Schutz der Gesundheit, der Sicherheit, der Grundrechte, der Demokratie und der Rechtsstaatlichkeit sowie der Umwelt vor schädlichen Auswirkungen von Systemen der künstlichen Intelligenz in der Union zu gewährleisten und gleichzeitig die Innovation zu fördern und das Funktionieren des Binnenmarktes zu verbessern.“ (Auszug aus Erwägungsgrund 1, nichtamtliche Übersetzung)

3. Open-Source KI-Modelle und KI-Modelle für nichtgewerbliche oder wissenschaftliche Forschungszwecke

Für Anbieter von KI-Modellen, die diese als Open-Source-Lizenz oder für nichtgewerbliche oder wissenschaftliche Forschungszwecke zur Verfügung stellen, gelten künftig Ausnahmen in Bezug auf die Transparenzanforderungen, die bei diesen Modellen weit weniger strikt sind.

So heißt es in dem neu eingefügten Erwägungsgrund 60g nun etwa:

„Unbeschadet des Unionsrechts zum Urheberrecht sollte bei der Einhaltung dieser Verpflichtungen die Größe des Anbieters gebührend berücksichtigt werden und KMU, einschließlich neu gegründeter Unternehmen, vereinfachte Möglichkeiten zur Einhaltung der Vorschriften eingeräumt werden, die keine übermäßigen Kosten verursachen und sie nicht von der Nutzung solcher Modelle abhalten sollten.“ (Auszug aus Erwägungsgrund 60g, nichtamtliche Übersetzung)

Dabei wird deutlich, dass die EU insbesondere den Einsatz und die Nutzung von KI-Modellen in diesen Bereichen fördern möchte.

4. Große generative KI-Modelle (ChatGPT und Co.)

Deutlich umfangreicher sind die Pflichten für große generative KI-Modelle. Dabei ist sich die EU des Erfordernisses bewusst, dass derartige Modelle den Zugang zu großen Mengen an Texten, Bildern, Videos und anderen Daten erfordern.

Der AI-Act greift die damit verbundene Problematik auf.

„Text- und Data-Mining-Techniken können in diesem Zusammenhang in großem Umfang zum Auffinden und Analysieren solcher Inhalte eingesetzt werden, die unter Umständen urheberrechtlich und durch verwandte Rechte geschützt sind.“ (Auszug aus Erwägungsgrund 60i, nichtamtliche Übersetzung)

Jede Nutzung urheberrechtlich geschützter Inhalte erfordert grundsätzlich die Genehmigung des betreffenden Rechteinhabers, es sei denn, es gelten Ausnahmen und Beschränkungen der Richtlinie (EU) 2019/790 (EU-Urheberrechtsrichtlinie). Die Richtlinie erlaubt unter bestimmten Voraussetzungen die Vervielfältigung von Werksauszügen zum Zwecke des Text-Mining und des Data-Mining.

Gleichwohl können sich die Rechteinhaber ihre Rechte vorbehalten, um ein Mining zu verhindern. In diesen Fällen können die Anbieter von KI-Modellen eine Genehmigung zur Nutzung bei den jeweiligen Rechteinhabern einholen. Eine erste dahingehende Vereinbarung haben OpenAI, der Anbieter von ChatGPT, und ein deutscher Verlag bereits geschlossen.

Ausnahmen gelten innerhalb der Richtlinie allerdings bei einem Mining, das zum Zwecke der wissenschaftlichen Forschung geschieht. Hier ist ein Vorbehalt der Rechteinhaber grundsätzlich ausgeschlossen.

5. Einhaltung der EU-Urheberrechtsrichtlinie und verwandter Schutzrechte

Um sicherzustellen, dass die Anbieter von KI-Modellen auch die Verpflichtungen des AI-Acts einhalten, haben sie künftig Maßnahmen einzuführen, um die Einhaltung des Unionsrechts zum Urheberrecht und zu verwandten Schutzrechten zu garantieren. Dabei hat insbesondere im Fokus zu stehen, dass und wie Rechteinhaber ihre Rechtsvorbehalte gemäß Art. 4 Abs. 3 der EU-Urheberrechtsrichtlinie äußern können. Dies gilt auch entgegen etwaig anderslautender mitgliedstaatlicher Rechtsordnungen.

„Dies ist notwendig, um gleiche Wettbewerbsbedingungen für die Anbieter von KI-Modellen für allgemeine Zwecke zu gewährleisten, wobei kein Anbieter in der Lage sein sollte, sich einen Wettbewerbsvorteil auf dem EU-Markt zu verschaffen, indem er niedrigere Urheberrechtsstandards anwendet als die in der Union geltenden.“ (Auszug aus Erwägungsgrund 60j, nichtamtliche Übersetzung)

Die Regelung, derartige Maßnahmen einzuführen, findet sich – abseits der Erwägungsgründe – im Verordnungstext in Art. 52c Abs. 1 lit. c AI-Act.

6. Kriterienkatalog für die Entwicklung und das Training von KI-Modellen

Anbieter, die ihre KI-Modelle mit (urheberrechtlich geschützten) Daten und Texten trainieren, haben künftig eine hinreichend ausführliche Zusammenfassung der für das Training des Modells verwendeten Inhalte zu erstellen und öffentlich zugänglich zu machen. Ziel ist es, die dadurch gewonnene Transparenz zu nutzen, um insbesondere den Urheberrechtsinhabern die Ausübung und Durchsetzung ihrer Rechte zu erleichtern.

„Unter gebührender Berücksichtigung der Notwendigkeit, Geschäftsgeheimnisse und vertrauliche Geschäftsinformationen zu schützen, sollte diese Zusammenfassung nicht technisch detailliert, sondern allgemein umfassend sein […].“ (Auszug aus Erwägungsgrund 60k, nichtamtliche Übersetzung)

Dabei geht es also vielmehr etwa um die Auflistung von wichtigen Datensammlungen, die für das Training des Modells verwendet wurden, oder um die Frage, ob und wie große private oder öffentliche Datenbanken oder Archive genutzt wurden.

Dazu soll den Anbietern künftig eine Vorlage zur Verfügung gestellt werden.

7. Überwachung der Verpflichtungen durch das AI Office

Die Einhaltung der genannten Verpflichtungen wird das noch zu gründende AI Office kontrollieren. Derzeit lässt sich aus dem AI-Act nicht ablesen, wie viel Autonomie dem AI Office tatsächlich zukommen wird. Hier ist mithin noch auf einen entsprechenden Beschluss zu warten, der diese Frage klären wird.

Aufgabe des AI Office wird sein, zu überwachen, ob die Anbieter die geforderten Strategien und Maßnahmen zur Einhaltung des Urheberrechts auch tatsächlich einführen und ob sie eine Zusammenfassung der für das Training verwendeten Inhalte öffentlich zugänglich machen.

Die Aufgabe wird gleichwohl allerdings nicht sein, die Trainingsdaten im Hinblick auf die Einhaltung des Urheberrechts zu überprüfen oder einzeln zu bewerten. Auch die Durchsetzung von Bestimmungen des Urheberrechts wird durch die Verordnung nicht gehindert.

C. Ausblick

Zwar lässt der aktuelle Entwurf noch einige Fragen offen und auch die Zustimmung der EU-Mitgliedsstaaten steht formal noch aus, allerdings können Unternehmen schon jetzt auf Grundlage des aktuellen Entwurfs tätig werden. Gerade Anbieter von Hochrisiko-KI sollten die Arbeiten an den notwendigen Dokumentationen nun intensivieren und anfangen, an einem Aufbewahrungskonzept zu arbeiten.