Künstliche Intelligenz: Europäisches Parlament macht Weg frei für neue EU-Verordnung (AI-Act)

Nachdem die Europäische Kommission am 21. April 2021 einen ersten Entwurf für den Artificial Intelligence Act („AI-Act“) zur Regulierung künstlicher Intelligenz (KI) vorgelegt hatte (wir berichteten), hat am 14. Juni 2023 auch das Europäische Parlament (Europäische Parlament) seine finale Position veröffentlicht. Damit steht als nächster Schritt nun der Trilog zwischen Parlament, Rat und Kommission an. Da das Europäische Parlament bereits in einem knappen Jahr neu gewählt wird, wird mit einem schnellen Inkrafttreten und nur noch wenigen Änderungen gerechnet. Unternehmen können nun nach erfolgter, parlamentarischer Einigung konkreter planen und anhand der neuen Regeln ihre eigenen (geplanten) Applikationen auf den Prüfstand stellen. Dieser Artikel gibt Hilfestellung.

1. Begriff der KI-Systeme

Der Anwendungsbereich des AI-Act ist sehr weit und kann viele Anwendungen erfassen, bei denen man nicht auf den ersten Blick erwarten würde, dass es sich um KI handelt. Dies gilt umso mehr, nachdem das Europäische Parlament die Definition für Systeme der künstlichen Intelligenz (KI-Systeme) noch einmal geändert hat. Trotzdem muss natürlich nicht jede Software die Anforderungen an KI-Systeme erfüllen. Erfasst werden vielmehr „maschinengestützte Systeme, die so konzipiert sind, dass sie mit unterschiedlichem Grad an Autonomie operieren und für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen können, die die physische oder virtuelle Umgebung beeinflussen.“ Damit schließt sich das Europäische Parlament der 2018 von der OECD entwickelten KI-Definition an.

Maßgeblich ist also, dass eine Anwendung selbständig Empfehlungen entwickelt, sodass darauf basierende Entscheidungen auf irgendeine Art von der KI beeinflusst werden. Beispiele für KI unter dieser Definition sind vielfältig und reichen von Kredit-Scoring-Systemen über Assistenten für Menschen mit Sehbehinderung bis zu Autonomen Fahrsystemen. Bei dem Kredit-Scoring-Systemen wird deutlich, dass es für das Vorliegen von KI ausreicht, wenn ein System aufgrund von Wahrscheinlichkeiten bestimmte Werte ausgibt. Das kann beispielsweise auch bei Anwendungen der Fall sein, die selbständig Texte oder Textbausteine vorschlagen, Handlungsschritte vorgeben oder priorisieren oder Angaben zu der Wahrscheinlichkeit gewisser Ereignisse machen. „Echte“ Intelligenz, die dem menschlichen Gehirn entspricht, ist hingegen nicht erforderlich. Insofern kann fast jede Software, die im Arbeitsalltag eingesetzt wird, um im Unternehmen Aufgaben abzunehmen, unter den AI-Act fallen. Allerdings bedeutet nicht jede KI auch Handlungsbedarf.

2. Risikostufen

Ob ein Unternehmen, das ein KI-System einsetzt aktiv werden und umfassende Maßnahmen ergreifen muss, hängt davon ab, welches Risiko mit dem Einsatz der jeweiligen Anwendung verbunden ist. Dafür werden im AI-Act vier Risikostufen definiert, die sich anhand der folgenden Kriterien unterscheiden lassen:

a) KI mit inakzeptablem Risiko

In Art. 5 AI-Act werden Praktiken im Bereich der künstlichen Intelligenz definiert, die mit einem so hohen Risiko für Menschen, Sicherheit oder Grundrechte verbunden sind, dass sie für den Gesetzgeber schlicht unannehmbar sind. Hier hat das Europäische Parlament zuletzt noch einmal nachgebessert, sodass mehr KI-Systeme als in dem bisherigen Entwurf verboten sind. Unzulässig sind demnach KI-Systeme mit den folgenden Funktionen:

• Techniken zur unterbewussten Beeinflussung von Personen, um deren Verhalten so zu beeinflussen, dass es dieser oder anderen Personen einen psychischen oder physischen Schaden zufügen kann; ausgenommen sind genehmigte therapeutische Zwecke mit der Einwilligung der Person
• das Ausnutzen der Schwäche oder Schutzbedürftigkeit von Personen, etwa aufgrund bekannter oder vorhergesagter Persönlichkeitsmerkmale, der sozialen oder wirtschaftlichen Situation, des Alters oder körperlicher oder geistiger Behinderungen, sodass es dieser oder anderen Personen einen psychischen oder physischen Schaden zufügen kann. Dazu gehört auch die algorithmische Diskriminierung aufgrund des Geschlechts
• biometrische Kategorisierung anhand von sensiblen oder geschützten Eigenschaften oder Merkmalen (z. B. Geschlecht, ethnische Zugehörigkeit, Staatsangehörigkeit, Religion, politische Orientierung); auch hier gibt es eine Ausnahme für therapeutische Zwecke
• Social-Scoring durch Behörden
• biometrische Echtzeit-Fernidentifizierungssysteme (die zunächst vorgesehenen Ausnahmen werden gestrichen) sowie die nachträgliche biometrische Auswertung der Überwachung des öffentlichen Raumes
• Predictive Policing
• Erstellung von Gesichtserkennungsdatenbanken durch Web-Scraping, insbesondere von Social Media oder Überwachungskameras
• Emotionserkennungssysteme in der Strafverfolgung, im Grenzschutz, am Arbeitsplatz und in Bildungseinrichtungen.

b) KI mit hohem Risiko (Hochrisiko-KI)

Hochrisiko-KI darf nur eingesetzt werden, wenn umfassende Anforderungen eingehalten werden, etwa Transparenzpflichten, eine Zulassung zum europäischen Markt sowie ein Risiko- und Qualitätsmanagementsystem (siehe Ziffer 3 lit. a). Wegen dieser hohen Anforderungen ist es wichtig, Hochrisiko-KI zu erkennen und die entsprechenden Maßnahmen zu ergreifen. Ansonsten drohen Geldbußen von bis zu 20 Mio. EUR bzw. bis zu 4 % des weltweiten Jahresumsatzes, je nachdem welcher Wert höher ist.

Bei welchen Anwendungen es sich um Hochrisiko-KI handelt wird in Anhang III des AI-Act festgelegt, der gemäß Art. 7 AI-Act durch die Kommission geändert werden kann. Es sich also sich auch in Zukunft, Anhang III im Blick zu halten. Aktuell handelt es sich bei Anwendungen mit den folgenden Einsatzzwecken um Hochrisiko-KI:

• Bewerberauswahl
• Bonitätsprüfung
• Zugang zu Studium und Ausbildung, Bewertung von Prüfungsleistungen in Ausbildung und Studium, zur Bewertung des angemessenen Ausbildungsniveaus sowie zur Aufdeckung verbotener Verhaltensweisen bei Tests
• Beurteilung von Personen im Zusammenhang mit Strafverfolgung und ähnlichen freiheitsbeschränkenden Maßnahmen
• KI zur Unterstützung von Richtern und Behörden bei der Rechtsanwendung
• Einflussnahme auf Wahlen und Wahlentscheidungen (etwa durch Steuerung politischer Kampagnen)
• Asyl- und Visaprüfung
• Biometrische bzw. bioemtriebasierte Identifizierung natürlicher Personen, die über die bloße Verifizierung der Angaben zur Person hinausgehen (bspw. Einlasskontrolle ist nicht erfasst)
• Einsatz von KI bei dem Betrieb kritischer Infrastrukturen, wie etwa Wasser-, Gas- und Elektrizitätsversorgung
• Zugang zu grundlegenden öffentlichen Leistungen
• Empfehlungssysteme sehr großer Online Plattformen (VLOPS – very large online platforms).

Ergänzend ist es für die Einstufung als Hochrisiko-KI mit den damit einhergehenden Pflichten gemäß Art. 6 Abs. 2 AI-Act erforderlich, dass von dem System ein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen ausgeht. Dabei ist insbesondere auf die Prüfung der erheblichen Risiken für Grundrechte ein Augenmerkt zu legen, wenn durch den Einsatz von KI bspw. eine Einschränkung der Meinungsfreiheit droht, die eine Einstufung als Hochrisiko-KI rechtfertigen kann. Jedenfalls KI-Anwendungen für die medizinischen Diagnose und Behandlung sind in der Regel aber erfasst.

c) KI mit geringem Risiko

Beim Einsatz von KI mit geringem Risiko müssen bereits einige Transparenzanforderungen eingehalten werden. Betroffen sind beispielsweise Systeme, die mit natürlichen Personen interagieren, etwa Chatbots oder Deepfakes.

d) KI mit minimalem oder keinem Risiko

Der Einsatz von KI mit minimalem Risiko soll hingegen fast unbeschränkt möglich sein. Erfasst sind etwa Suchalgorithmen, Spamfilter oder KI-gestützte Videospiele. Zudem fallen viele KI-Systeme, die in produktiven Unternehmen genutzt werden, unter diese Kategorie, etwa Systeme zur Predictive Maintenance oder Industrie-Applikationen, die keine personenbezogenen Daten verarbeiten oder Vorhersagen mit Einfluss auf natürliche Personen machen.

e) Generative KI

Der aktuelle Entwurf enthält erstmals auch Regelungen, die sich ausdrücklich mit den Grundlagenmodellen befasst, auf denen sogenannte Generative KI basiert, zu der etwa die Sprachmodelle ChatGPT und LaMDA gehören (Art. 28b AI-Act). Die Regelungen betreffen vor allem die Anbieter dieser Systeme und enthalten die Erfüllung von Transparenzpflichten, eine Pflicht zur Registrierung, angemessene Schutzmaßnahmen gegen rechtswidrige Inhalte sowie Maßnahmen zum Schutz der Meinungsfreiheit. Außerdem müssen Generative System offenlegen, wenn Inhalte KI-erzeugt sind.

Im Bereich der Grundlagenmodelle gibt es keine Ausnahme für Open-Source-KI, selbst wenn es sich nicht um Hochrisiko-KI handelt (so ist etwa der Quellcode vom LLaMA, des Chatbots von Meta, öffentlich einsehbar). Sofern sie zu einem der oben genannten Zwecke eingesetzt wird, kann zudem auch die bloße Nutzung von generativer KI wie ChatGPT beschränkt oder verboten sein. Dann gelten die allgemeinen Regeln des AI-Act ergänzend. Für den Bereich der Generativen KI werden für die Trilog-Verhandlungen noch einige Änderungen erwartet, da dieser Abschnitt durch das Europäische Parlament erstmals eingefügt worden ist.

3. Pflichten für Unternehmen

a) Hochrisiko-KI

Ergänzend zu den Vorgaben, die für KI mit geringem oder minimalem Risiko gelten, haben Nutzer von Hochrisiko-KI gemäß Art. 29 AI-Act umfassende Pflichten, um die sichere Anwendung der Systeme sicherzustellen:

• Implementierung von angemessenen technischen und organisatorischen Maßnahmen zur Nutzung der Systeme in Übereinstimmung mit der Gebrauchsanweisung
• Überwachung der Entscheidungen und Ergebnisse durch eine entsprechend qualifizierte natürliche Person
• Regelmäßige Überwachung und Anpassung von Cybersecurity-Maßnahmen
• Überprüfung, dass nur Daten eingegeben sind, die repräsentativ sind und der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen
• Überwachung des Betriebes des KI-Systems
• Information des Anbieters des KI-Systems und der zuständigen Behörden, sofern dessen Verwendung zu eine, Risiko für Gesundheit und Sicherheit von Personen im Allgemeinen, Gesundheit und Sicherheit am Arbeitsplatz, Verbraucherschutz, Umwelt, öffentliche Sicherheit und andere öffentliche Interessen führen kann oder im Falle eines schwerwiegenden Vorfalls oder Fehlfunktionen
• Konsultation von Arbeitnehmervertretern und Information von Arbeitnehmern
• Ggf. Datenschutzfolgenabschätzung nach Art. 35 DSGVO und Veröffentlichung einer Zusammenfassung
• Wenn Entscheidungen über natürliche Personen getroffen werden, sind diese darüber zu informieren, dass sie Gegenstand von Entscheidungen einer Hochrisiko-KI werden
• Kooperation mit den zuständigen nationalen Behörden
• Vor der ersten Verwendung ist eine Risiko-Folgenabschätzung durchzuführen, die jedenfalls die folgenden Elemente enthält: Zweck des KI-Einsatzes, geplanter geografischer und räumlicher Umfang, Kategorien betroffener natürlicher Personen, Prüfung der Vereinbarkeit mit den Rechtsvorschriften der Union und der Mitgliedstaaten über Grundrechte, mögliche Beeinträchtigung von Grundrechten, Risiko für besonders gefährdete Gruppen, Plan zur Vermeidung von Risiken für Grundrechte, geplante Kontrollsysteme.

Wird das KI-System im eigenen Nahmen in Verkehr gebracht oder in Betrieb genommen, gelten zusätzlich die folgenden Pflichten:

• Einrichtung eines Risikomanagementsystems sowie eines Qualitätsmanagementsystems
• Protokollierung des Betriebes der Hochrisiko-KI
• Bereitstellung von transparenten Informationen für Nutzer
• Sicherstellung der Aufsicht durch eine natürliche Person
• Bereitstellung von Spezifikationen für die Eingabedaten oder sonstige relevante Informationen über die verwendeten Datensätze, einschließlich ihrer Beschränkung und Annahmen, unter Berücksichtigung des beabsichtigten Zwecks und der vorhersehbaren und vernünftigerweise vorhersehbaren Missbräuche des KI-Systems
• Erstellung der technischen Dokumentation des Hochrisiko-KI-Systems
• Aufbewahrung von durch die Hochrisiko-KI-Systemen automatisch erzeugten Protokollen
• Konformitätsbewertungsverfahren bevor das KI-System in Verkehr gebracht oder in Betrieb genommen wird
• Registrierung der Hochrisiko-KI
• Anbringung der CE-Kennzeichnung sowie ihres Namens, ihrer Adresse sowie von Kontaktinformationen
• Beantwortung von Anfragen der zuständigen nationalen Behörden.

b) KI mit geringem Risiko & KI mit minimalem Risiko

Auch für KI mit geringem Risiko gelten gemäß Art. 4a AI-Act Mindestanforderungen, die grundsätzlich von allen KI-Anbietern bei der Entwicklung beachtet werden sollen:

• KI ist so zu entwickeln, dass sie in angemessener Weise durch natürliche Personen kontrolliert und beaufsichtigt wird
• bei Entwicklung und Einsatz von KI muss das Risiko unbeabsichtigter Schäden minimiert werden, dies gilt auch für die Widerstandsfähigkeit gegenüber (Cyborg-)Attacken und unrechtmäßige Nutzung
• Information der Nutzer darüber, dass es sich um KI handelt, sowie über die mit der Nutzung verbundenen Risiken; Rückverfolgbarkeit und Erklärbarkeit von Ergebnissen
• Vermeidung von Diskriminierung
• Überwachung der Auswirkungen auf den Einzelnen, die Gesellschaft und die Demokratie.

Die Einhaltung diese Prinzipien kann auch durch Einhaltung von harmonisierten Normen, technischen Spezifikationen und Codes of Conduct gemäß Art. 69 AI-Act sichergestellt werden. Diese Codes of Conduct können nicht nur die einzelnen KI-Anbietern, sondern auch von deren Interessenvertretungen aufstellen.

Außerdem müssen KI-Systeme, die für die Interaktion mit natürlichen Personen bestimmt sind, offenlegen, dass den Nutzern mitgeteilt wird, dass es sich um eine KI handelt, es sei denn, dies ist ohnehin offensichtlich. Für KI mit minimalem oder keinem Risiko gibt es hingegen keine weiteren Anforderungen, der Entwurf eines Code of Conduct wird aber auch für diese KI empfohlen.

4.  Prüfschritte

Um herauszufinden, ob eine Anwendung unter den AI-Act fällt und wenn ja, welche Vorgaben gelten, könnten die folgenden Schritte umgesetzt werden:

Schritt 1 – Handelt es sich um ein KI-System?

• Maschinengestütztes System (insbesondere Software);
• Selbständige Entwicklung von Ergebnissen aufgrund einer vorgegebenen (auch impliziten) Zielsetzung (insbesondere die Ausgabe von Werten aufgrund von Wahrscheinlichkeiten);
• sollte bei Zweifeln aufgrund des weiten Anwendungsbereiches in der Regel angenommen werden.

Wenn nein: Ende der Prüfung, keine Maßnahmen gemäß dem AI-Act notwendig.

Wenn ja:

Schritt 2 – Handelt es sich um KI mit inakzeptablem Risiko?

Dies ist der Fall, wenn die KI eine der folgenden Funktionen hat:

• Unterbewusste Beeinflussung des Verhaltens von Personen
• das Ausnutzen der Schwäche oder Schutzbedürftigkeit von Personen
• biometrische Kategorisierung anhand von sensiblen oder geschützten Eigenschaften oder Merkmalen (z. B. Geschlecht, ethnische Zugehörigkeit, Staatsangehörigkeit, Religion, politische Orientierung)
• Social-Scoring
• biometrische Echtzeit-Fernidentifizierung
• Predictive Policing
• Erstellung von Gesichtserkennungsdatenbanken durch Web-Scraping
• Emotionserkennungssysteme, insbesondere am Arbeitsplatz und in Bildungseinrichtungen
• nachträgliche biometrische Auswertung der Überwachung des öffentlichen Raumes.

Wenn ja: Ende der Prüfung, das KI-System darf nicht eingesetzt werden.

Wenn nein:

Schritt 3 – Handelt es sich um Hochrisiko-KI?

Dies ist der Fall, wenn die KI eine der folgenden Funktionen hat:

• Bewerberauswahl; Zugang zu Studium und Ausbildung, Bewertung von Prüfungsleistungen in Ausbildung und Studium, zur Bewertung des angemessenen Ausbildungsniveaus sowie zur Aufdeckung verbotener Verhaltensweisen bei Tests
• Bonitätsprüfung
• Asyl- und Visaprüfung
• Unterstützung von Richtern und Behörden bei der Rechtsanwendung, Beurteilung im Zusammenhang mit Strafverfolgung und ähnlichen freiheitsbeschränkenden Maßnahmen
• Einflussnahme auf Wahlen und Wahlentscheidungen (etwa durch Steuerung politischer Kampagnen)
• Biometrische Identifizierung natürlicher Personen (nicht: Bloße Identitätskontrolle)
• Betrieb kritischer Infrastrukturen, wie etwa Wasser-, Gas- und Elektrizitätsversorgung und Verkehr
• Empfehlungssysteme sehr großer Online Plattformen (VLOPS – very large online platforms)

und

• es geht von dem System ein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen aus.

Wenn ja: Hochrisiko-KI, die unter Ziffer 3 lit. a) und b) (siehe oben) dargestellten Vorgaben müssen eingehalten werden.

Wenn nein: es handelt sich um KI mit geringem oder keinem Risiko. Es sind allenfalls die Vorgaben unter Ziffer 3 lit. b) einzuhalten. Sofern es sich um einen Chatbot oder Deepfakes handelt, sind diese entsprechend zu kennzeichnen.

5. Fazit

Es ist wahrscheinlich, dass der obige Entwurf zum AI-Act, der nun vom Europäischen Parlament gebilligt wurde, in weiten Teilen der endgültigen Version entsprechen wird. Daher ist es sinnvoll, basierend auf diesem Entwurf nun eine interne Prüfung eigener Applikationen durchzuführen. Die obige Checkliste kann hierbei helfen. In diesem Kontext sollte man auch die weiteren, aktuellen Gesetzesinitiativen der EU-Kommission in Bezug auf das EU-Digitalrecht berücksichtigen, wie zum Beispiel den Digital Services Act oder die neuen IT-Sicherheits-Vorgaben aus der jüngsten DORA-Verordnung und dem kommenden Cyber Resilience Act.