Die neue EU-Verordnung zur Künstlichen Intelligenz – Inkrafttreten schon Anfang 2023 möglich

Die Europäische Union arbeitet momentan an Hochtouren an einer umfassenden Rechtsordnung für den digitalen Raum. Dabei darf auch ein Gesetz für künstliche Intelligenz (KI) nicht fehlen und so legte die Kommission am 21. April 2021 den ersten Entwurf für einen AI Act vor (wir berichteten). Viele Unternehmen schauen seitdem genau auf die weiteren Schritte der EU, denn es ist nicht auszuschließen, dass die neue Verordnung auf heute entwickelte KI bereits Anwendung finden wird.

Am 25. Oktober wurde im EU-Rat nun ein neuer Entwurf diskutiert, der (wenn es keine größeren Änderungen mehr gibt) noch dieses Jahr zu einer Einigung führen könnte. Neben Transparenzpflichten beim Einsatz von KI kommen vor allem auf Hersteller und Nutzer von Hochrisiko-KI umfassende neue Pflichten zu.

A. Hintergrund

Bei dem geplanten AI Act soll es sich um eine Verordnung handeln, die – einmal in Kraft getreten – von den Mitgliedsstaaten nicht mehr in nationales Recht umgesetzt werden muss. Ziel des AI Act ist es, einen Rechtsrahmen für den Einsatz künstlicher Intelligenz (KI) mit mittlerem und hohem Risiko in der EU zu schaffen, ohne dabei die Wettbewerbsfähigkeit europäischer Technologien zu beeinträchtigen.

Künstliche Intelligenz wird im AI Act als Software definiert, die mit speziellen Techniken entwickelt wurde, Daten erfasst und interpretiert und daraus zuvor klar definierte Ergebnisse generiert, die physische oder digitale Umgebungen beeinflusst. Die Definition ist trotz der Konkretisierungen im Anhang sehr weit und könnte einen großen Teil der komplexeren Software erfassen.

B. Allgemeine Regelungen

I. Schutzbedarfsklassen

Die Pflichten, die der AI Act Anbietern und Nutzern auferlegt, bestimmen sich nach dem Schutzbedarf der jeweiligen Systeme. Dafür können aus dem AI Act drei verschiedene Schutzstufen abgeleitet werden.

1. Minimales oder geringes Risiko

Der Einsatz von KI mit minimalem Risiko bleibt fast unbeschränkt möglich, sodass der AI Act trotz der weiten Definition keine unverhältnismäßigen Härten etwa für Suchalgorithmen, Spamfilter oder KI-gestützte Videospiele mit sich bringt. Bei KI mit geringem Risiko müssen bereits gewisse Mindestanforderungen zur Transparenz eingehalten werden. Vor allem Systeme, die mit natürlichen Personen interagieren, wie Chatbots oder Deepfakes, müssen darauf hinweisen, dass KI verwendet wird (vgl. Art. 52 AI Act).

2. Hohes Risiko (Hochrisiko-KI)

Für KI, deren Einsatz mit einem hohen Risiko verbunden ist, sieht der AI Act umfassende Anforderungen vor, etwa umfassende Transparenzpflichten, ein Zulassungserfordernis für den europäische Markt  sowie ein Risiko- und Qualitätsmanagementsystem, das unter anderem die technische Möglichkeit einer menschlichen Aufsicht vorsieht (dazu bereits hier). Seit dem ersten Entwurf des AI Act hat sich an den strengen Anforderungen an Hochrisiko-KI nur wenig geändert, sodass hier auch für den weiteren Verlauf des Gesetzgebungsverfahren aktuell nur mit geringfügigen Anpassungen gerechnet wird.

Zur Hochrisiko-KI zählen insbesondere KI-Systeme für die biometrische Identifizierung und Kategorisierung, kritische Infrastrukturen, Zugänglichkeit grundlegender privater und öffentlicher Dienste und Leistungen, Arbeitnehmerverwaltung und Zugang zur Selbständigkeit, Bildung, Strafverfolgung, Migration, Asyl und Grenzkontrolle, Rechtspflege und demokratische Prozesse, medizinische Produkte sowie laut dem neuesten Kompromissentwurf KI zur Risikoberechnung und Preisgestaltung für Versicherungen.

3. Unannehmbares Risiko

KI mit einem unannehmbaren Risiko wird mit einigen Ausnahmen sogar vollständig verboten. Erfasst sind davon Systeme für Social Scoring, unbewusste Manipulation menschlichen Verhaltens, Ausnutzen von Schwächen oder Schutzbedürftigkeit aufgrund des Alters oder körperlicher oder geistiger Behinderung sowie zur biometrischen Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen.

II. Adressaten des AI Act

Von den Regelungen des AI Act sind nicht nur die Hersteller, sondern auch Anbieter, Einführer, Händler oder Nutzer von KI-Systemen erfasst, die KI-Systeme auf dem Unionsmarkt in Verkehr bringen, in Betrieb nehmen oder bereitstellen. Dies gilt selbst dann, wenn diese Anbieter und Nutzer nicht in der EU ansässig sind, das von dem KI-System hervorgebrachte Ergebnis aber in der EU verwendet wird.

III. Haftungsrisiken

Der AI Act ermöglicht Bußgelder von voraussichtlich bis zu EUR 30 Mio. oder 6 % des weltweiten Jahresumsatzes bei Verstößen. Dabei schwankte die vorgesehen Höhe zwischen den verschiedenen Entwurfsvorschlägen. Unter Umständen werden weitere Sanktionen, Anordnungen oder Warnungen möglich sein.

Zudem sind im Rahmen der Festlegung von Sanktionen Punkte vorgesehen, die verschärfend oder mildernd zu berücksichtigen sind, etwa der vorsätzliche oder fahrlässige Charakter des Verstoßes, Versuche der Milderung oder vorangegangene Sanktionen für ähnliche Verstöße.

C. Neue Inhalte im jüngsten Entwurf

In dem neuesten Kompromissvorschlag werden einige Klarstellungen getroffen. So soll die im AI Act vorgesehene Ausnahme für Militär, Verteidigung und nationale Sicherheit nicht nur für das Inverkehrbringen, sondern auch für die Nutzung von Hochrisiko-KI gelten.

Auch die Definition der Systeme zur biometrischen Identifizierung, für die als Hochrisiko-Anwendungen hohe Anforderungen gelten, wurde angepasst: Da die vielfach eingesetzten Fingerabdrucksensoren ebenfalls als Systeme zur biometrischen Identifizierung zu qualifizieren sind, soll das Verbot biometrischer Fernidentifizierung („remote“) nur noch gelten, wenn die Nutzung ohne die aktive Beteiligung der Person erfolgt.

Zudem wurde die Registrierungspflicht eingeschränkt: Behörden, die Hochrisiko-KI für Strafverfolgung, Migration, Asyl und Grenzkontrolle sowie kritische Infrastrukturen einsetzen, sind von der Registrierungspflicht in der EU-Datenbank befreit.

I. Besondere Regeln für General-Purpose-KI

Bei Veröffentlichung des ersten Entwurfs war der Umgang mit General-Purpose-KI noch unklar. General-Purpose-KI kann je nach Einsatzzweck an verschiedene Aufgaben angepasst werden und ist einem einzelnen Einsatzzweck nicht eindeutig zuzuordnen.

Der aktuelle Entwurf folgt nun dem Vorschlag der tschechischen Ratspräsidentschaft, die EU-Kommission mit einem Durchführungsakt zu beauftragen, in dem die Verpflichtungen für General-Purpose-KI angepasst werden. Um für Anbieter von General-Purpose-KI Rechtssicherheit zu schaffen, sollen diese bereits vor Erlass des Durchführungsaktes an regulatorischen Sandboxes teilnehmen und sich auf Codes of Conduct bewerben können.

II. Weitere Anforderungen an Hochrisiko-KI

Auch für die Anbieter von Hochrisiko-KI sind gegenüber dem ersten Entwurf der Kommission nochmal neue Anforderungen hinzugekommen. So müssen Anbieter von Systemen, die erhebliche Schäden verursachen können, das bei korrekter Anwendung zu erwartende Ergebnis in der Gebrauchsanweisung angeben, damit die Verwender auf abweichende oder fehlerhafte Ergebnisse besser reagieren können. Darüber hinaus sind Systeme zur Kontrolle der Umweltverschmutzung nun doch nicht als Hochrisiko-KI einzustufen, dafür aber KI, die zur Risikoberechnung und Preisgestaltung für Versicherungen dient und nicht von einem KMU angeboten wird.

III. Kleiner Sieg für die Kunstfreiheit

Die Transparenzpflichten für KI-Anwendungen wie Deep Fakes wurden in dem neuen Kompromissvorschlag sogar eingeschränkt: Die Transparenzpflichten dürfen nicht dazu führen, dass das Recht der Kunstfreiheit eingeschränkt wird. Das soll insbesondere für Teile eines „offensichtlich kreativen, satirischen, künstlerischen oder fiktionalen Werkes oder Programmes“ gelten.

D. Ausblick und Handlungsempfehlung

Mit einem Beschluss des EU-Parlaments über den Entwurf wird noch in diesem Jahr gerechnet, mit der finalen Verabschiedung bereits Anfang 2023. Der AI Act tritt dann 20 Tage nach seiner Veröffentlichung im Amtsblatt der EU in Kraft und wird voraussichtlich nach einer zweijährigen Übergansphase volle Wirksamkeit entfalten.

Auch wenn der AI Act eine ausreichende Übergangsphase vorsieht, können Hersteller und Nutzer von KI sich schon jetzt auf die neuen Pflichten für Hochrisiko-KI vorbereiten und die Anforderungen bei in der Entwicklung befindlicher KI berücksichtigen. Auch die Transparenzpflichten zur Kennzeichnung von KI-Systemen können Betreiber und Nutzer von KI bereits jetzt umsetzen.

Beim Hochrisiko-KI sind mit Wirksamwerden des AI Act voraussichtlich unter anderem die folgenden Punkte umzusetzen:

• Gebrauchsanweisungen mit allen Informationen in präziser, vollständiger, korrekter und eindeutiger Form;
• Insbesondere Angabe des bei korrekter Anwendung zu erwartenden Ergebnisses in der Gebrauchsanweisung (bei Möglichkeit großer Schäden);
• Einrichtung eines Systems zur Beobachtung der KI nach dem Inverkehrbringen
• Einrichtung eines Risikomanagementsystems, insbesondere a) Ermittlung und Analyse der bekannten und vorhersehbaren Risiken, die von dem System ausgehen, b) Abschätzung und Bewertung der möglichen Risiken, wenn das System entsprechend seiner Zweckbestimmung verwendet wird, c) Bewertung anderer möglicherweise auftretender Risiken auf der Grundlage der Beobachtung nach dem Inverkehrbringen und d) Ergreifung geeigneter Risikomanagementmaßnahmen
• Einrichtung eines Qualitätsmanagementsystems;
•  Möglichkeit der Beaufsichtigung durch natürliche Personen;
• Beachtung bestimmter Qualitätskriterien für Trainings-, Validierungs- und Testdatensätze;
• Einbindung von Funktionsmerkmalen, die eine automatische Aufzeichnung von Vorgängen und Ereignissen während des Betriebs der Systeme ermöglichen;
• Sicherstellung eines angemessenen Maßes an Genauigkeit, Robustheit und Cybersicherheit während des gesamten Lebenszyklus;
• Durchlaufen eines Konformitätsverfahrens und entsprechende CE-Kennzeichnung;
• Information der zuständigen nationalen Behörden und Registrierung in der EU-Datenbank für Hochrisiko-KI.

Update (15. November 2022)

Der EU-Rat hat nun eine finalen Entwurf für den AI Act erreicht. Gegenüber dem am 25. Oktober diskutierten Kompromiss enthält der aktuelle Entwurf noch einige Änderungen, die überwiegend auf Vorschläge der tschechischen Ratspräsidentschaft zurückgehen:

Es bleibt dabei, dass in der Versicherungsbranche nur KI zur Risikoberechnung und Preisgestaltung als Hochrisiko-KI eingestuft wird. Neu ist allerdings, dass dies auf deren Nutzung für Gesundheits- und Lebensversicherungen beschränkt wird. Zudem gibt es Ausnahmen für Kleinst- oder Kleinunternehmen, jedoch nur, wenn sie solche System für den Verkauf ihrer eigenen Versicherungsprodukte nutzen.

Im Bereich der kritischen Infrastrukturen gab es eine Präzisierung dahingehend, dass nur diejenigen Sicherheitskomponenten als Hochrisiko-KI eingestuft werden, die zur Gewährleistung der Integrität des Systems erforderlich sind, nicht aber Komponenten für deren bloßes Funktionieren.

Im Übrigen wird noch einmal klargestellt, dass die Zuständigkeiten, Aufgaben, Befugnisse und die Unabhängigkeit der nationalen Behörden, die die Wahrung von Grundrechten überwachen, nicht berührt wird. Hierzu gehören etwa Gleichstellungsstellen und Datenschutzbehörden.

Dieser Text wurde nun an die EU-Mitgliedsstaaten übersandt, um am Freitag (18. November 2022) die Zustimmung der ständigen Vertreter im Rat zu erhalten. Die Unterzeichnung durch die Vertreter im EU-Rat „Verkehr Telekommunikation und Energie“ ist für den 6. Dezember 2022 geplant.