AI-Act (Update): Einigung zur neuen KI-Verordnung

Vor wenigen Tagen haben sich Unterhändler von EU-Parlament und EU-Rat in Brüssel auf die grundlegenden Inhalte zur neuen KI-Verordnung (AI-Act) geeinigt, die nun in den kommenden Wochen final ausgearbeitet werden wird. Wir hatten zum bisherigen Verlauf des Gesetzgebungsverfahrens bereits berichtet (Update Datenschutz Nr. 146, Nr. 121 und Nr. 94). Dieser Beitrag gibt einen Überblick zu den wichtigsten, nun abgestimmten Inhalten der Verordnung sowie den unterschiedlichen Positionen der beteiligten Gesetzgebungsorgane.

Wesentliche Pflichten für Unternehmen

Verpflichtet werden durch die anstehende KI-Verordnung nicht nur die Hersteller von KI-Systemen, sondern auch Importeure, Händler und sogar die Betreiber (Nutzer), insbesondere bei Verwendung sog. Hochrisiko-KI-Systeme. Gemäß dem Marktortprinzip gilt die Verordnung auch für Unternehmen, die zwar in Drittstaaten ihren Sitz haben, jedoch das KI-System innerhalb der EU einsetzen.

Für Kleinanbieter und Kleinnutzer können von den EU-Mitgliedstaaten nach Art. 55 besondere Erleichterungen umgesetzt werden, etwa der Zugang zu regulatorischen „Sandboxes“, deren Nutzung nicht den strengen, gesetzlichen Anforderungen unterliegt.

Die einzelnen Pflichten für Unternehmen ergeben sich aus der Risikoeinstufung der jeweils verwendeten KI-Systeme. Solche mit geringem Risiko (wie Chatbots, Deepfakes, Spamfilter, KI-gestützte Videospiele) lösen lediglich Transparenzpflichten aus, die Anbieter müssen daher sicherstellen, dass ihre Nutzer über den Einsatz von KI informiert werden (Art. 52). Etwas strenger reguliert werden nach Forderungen des EU-Parlaments nun KI-Basismodelle als Systeme mit mittlerem Risiko, diesbezüglich wurden neue Regelungen in Art. 28b aufgenommen, insbesondere neben Transparenzpflichten auch solche zum Nachweis einer technischen Dokumentation nebst Gebrauchsanweisung und zur Einhaltung urheberrechtlicher Vorgaben. Besonders leistungsfähige KI-Basismodelle werden allerdings als „systemisch“ eingeordnet und unterliegen damit deutlich erhöhten Anforderungen (ähnlich der nachfolgenden Kategorie), müssen zudem über ihre Energieeffizienz berichten. Die größte Anzahl von Pflichten für Unternehmen betrifft jedoch den Einsatz sog. Hochrisiko-KI-Systeme, wie solche zur biometrischen Identifizierung, zum autonomen Fahren, zum Einsatz in kritischen Infrastrukturen, zur Bewertung des Bildungsniveaus von Mitarbeitern oder automatischer Auswahl von Bewerbern, zur Bewertung der Kreditwürdigkeit oder zum Einsatz als Lügendetektor durch Strafverfolgungsbehörden. Betreiber solche Hochrisiko-KI-Systeme müssen zukünftig nach Art. 29 erhöhte technische und organisatorische Maßnahmen umsetzen (insbesondere zur Cybersicherheit), ein Überwachungssystem einrichten unter Einsatz menschlicher Aufsicht, eine ausführliche Risiko- und auch Datenschutz-Folgenabschätzung durchführen, eine technische Dokumentation sowie Gebrauchsanweisung erstellen, alle automatisch erzeugten Protokolle vorhalten, ein EU-Konformitätsverfahren durchlaufen sowie die notwendigen Angaben in eine öffentlich verfügbare Datenbank der EU-Kommission einstellen. Sie müssen zudem bei Cybervorfällen die EU-Kommission informieren (Art. 62). Schließlich gibt es die Risikoeinstufung als sog. inakzeptables KI-System (Art. 5). Zu solchen gehören etwa Social-Scoring-Systeme, das Auslesen von Gesichtsbildern aus dem Internet, biometrische Kategorisierungssysteme unter Verwendung sensibler Merkmale, Systeme zur Manipulation menschlichen Verhaltens bzw. zum Ausnutzen menschlicher Schwächen oder die automatisierte Emotionserkennung am Arbeitsplatz bzw. bei Bildungseinrichtungen.

KI-Systeme, die unter freien Lizenzen oder Open-Source-Lizenzen bereitgestellt werden, sollen der Verordnung nicht unterliegen, soweit sie nicht in ein Hochrisiko-KI-System eingebunden sind oder als „systemrelevant“ eingestuft werden (Art. 2). Eine solche Regelung war im ursprünglichen Entwurf der EU-Kommission noch nicht vorgesehen.

Nähere Informationen zu den neuen Pflichten lassen sich der zwischenzeitlich von der EU-Kommission online gestellten Q&A-Infopage entnehmen.

Bußgelder

Bei Zuwiderhandlung gegen die Pflichten der neuen KI-Verordnung können nach Art. 71 Geldbußen festgesetzt werden. Diese liegen, je nach Art des Verstoßes, zwischen 1 % (oder 5 Mio. EUR) und 7 % der weltweiten Umsätze (oder 35 Mio. EUR). Für Geldbußen für Kleinanbieter wegen Verstößen gegen das KI-Gesetz sind verhältnismäßigere Obergrenzen vorgesehen. Bürger haben das Recht, Beschwerden über KI-Systeme einzureichen und im Hinblick auf Hochrisiko-KI-Systeme Erläuterungen über Entscheidungen des Anbieters anzufordern.

Trilog

Die EU-Kommission hatte bereits im April 2021 ihren ersten Entwurf einer KI-Verordnung veröffentlicht. Erst im Juni 2023 machte das EU-Parlament den Weg frei und einigte sich intern auf eine abgeänderte Version (wir hatten berichtet). Seitdem hatten Verhandlungen zwischen EU-Parlament und EU-Rat stattgefunden, die nun vor wenigen Tagen erfolgreich abgeschlossen wurden, so dass aktuell (Stand 14. Dezember 2023) in Brüssel die Finalisierung des Verordnungsentwurfes stattfindet.

Gegenstand der Diskussionen waren zuletzt insbesondere die Anforderungen zu staatlichen Überwachungsmaßnahmen sowie die Einbeziehung von KI-Basismodellen (wie Chat GPT).

Im Hinblick auf Überwachungsmaßnahmen forderte das EU-Parlament, jede biometrische Erkennung via KI zu verbieten, soweit der Betroffene nicht zustimmt. Der EU-Rat dagegen bestand auf einer weitgehenden Nutzung derartiger Systeme, auch zur automatischen Erkennung sensitiver Eigenschaften wie religiöse Überzeugung oder sexuelle Orientierung. Ein Kompromiss wurde nun dahingehend erzielt, dass eine biometrische Identifizierung im öffentlichen Raum nur bei bestimmten, schweren Straftaten zulässig ist und auch nur mit richterlicher Genehmigung. Dies gilt auch für eine nachträgliche Auswertung von Videomaterial unter Verwendung von KI-Systemen.

Streitig war auch das sog. Predictive Policing, also der Einsatz von KI-Systemen zur Vorhersage der Begehung von Straftaten. Der Inhalt der diesbezüglichen Einigung ist bislang nicht klar, allerdings soll ein Missbrauch wohl verhindert werden durch Reduzierung der Anwendbarkeit auf tatsächliche Verdachtsfälle und es müssen möglicherweise künftig unabhängige Behörden die Erlaubnis zu derartigen Maßnahmen erteilen.

KI-Basismodelle sollten nach dem Willen des EU-Rates grundsätzlich aus dem Anwendungsbereich der KI-Verordnung herausfallen (es wurde eine Selbstverpflichtung angeregt), wogegen sich das EU-Parlament allerdings sträubte. Als Kompromiss sind diese Basismodelle nun in der Verordnung als Systeme mittleren Risikos geregelt, jedoch grundsätzlich nur mit reduzierten Anforderungen für die Betreiber verbunden, soweit keine Hochleistungssysteme vorliegen, die mit sehr hoher Rechenleistung (10 hoch 25 Rechenoperationen pro Sekunde) trainiert wurden, wie wohl etwa GPT-4, Gemini oder Inflection 2.

Übergangsfrist, AI-Office

Es ist damit zu rechnen, dass die finale Fassung des Verordnungsentwurfes schon in wenigen Wochen vorliegt und verabschiedet werden kann. Die KI-Verordnung tritt dann 20 Tage nach der Veröffentlichung im Amtsblatt in Kraft. Sodann gilt voraussichtlich eine Übergangsfrist von 24 Monaten, so dass mit einer Anwendbarkeit spätestens Anfang 2024 zu rechnen ist. Allerdings ist vorgesehen, dass bestimmte Verbote bereits nach sechs Monaten gelten, konkrete Vorschriften für KI mit allgemeinem Verwendungszweck schon nach 12 Monaten. Zur effektiveren Umsetzung der neuen Vorgaben wird innerhalb der EU-Kommission eine Stelle namens „AI-Office“ eingerichtet, die die Koordinierung auf europäischer Ebene übernehmen und auch Anbieter von großen KI-Basismodellen überwachen soll.  

Notwendige Umsetzungsmaßnahmen

Es bleibt auch nach der obigen Einigung zwischen EU-Parlament und EU-Rat bei unseren bisherigen Empfehlungen zur Umsetzung der notwendigen Vorbereitungsmaßnahmen (siehe unser Beitrag, Kapitel „Pflichten für Unternehmen“).

In einem ersten Schritt sind folgende Maßnahmen empfehlenswert:

• Prüfung, ob intern eingesetzte KI-Systeme den obigen Risikoklassen unterliegen
• Durchführung und Dokumentation von Risikobewertungen
• Umsetzung der Transparenzpflichten durch Erstellung von Gebrauchsanweisungen, technischen Dokumentationen und Mitarbeiter-Richtlinien (insb. einen „Code of AI-Practice“)
• Einrichtung von internen Kontroll- und Governance-Systemen, falls Hochrisiko-KI zum Einsatz kommt
• Schulung von Mitarbeitern zum Einsatz von KI-Systemen.

Ausblick

Es ist gut, dass der Einsatz künstlicher Intelligenz nun erstmals in der Welt eine gesetzliche Regelung findet. Auch ist es gut, dass der sachliche Anwendungsbereich von allgemein „Software“ auf nun „maschinengestützte KI-Systeme“ eingeschränkt wurde, der Begriff einer „Hochrisiko-KI“ erheblich konkretisiert werden konnte, Unternehmen der IT-Branche im Bereich der Entwicklung von Open-Source-Software weitgehend unbehelligt bleiben und Entwickler eigener KI-Basismodelle nun im Regelfall ebenfalls einer nur sehr schwachen Regulatorik unterliegen. Es bleibt nun abzuwarten, wie die finale Fassung der Verordnung aussehen wird. Wir werden bei Abweichungen zu den Inhalten dieses Artikels nachträglich ein entsprechendes Update veröffentlichen.