Entwurf einer europäischen Verordnung zur Regulierung künstlicher Intelligenz

Auch wenn es noch in den Sternen steht, wann die Verordnung erlassen wird und angewendet werden muss, so zeichnen sich doch umfangreiche Anforderungen ab, welche die EU in der Zukunft an sogenannte „High-Risk AI-Systems“ stellen wird. Alle Unternehmen, die langfristig planen eine solche KI einzusetzen oder die solche KI’s entwickeln, sollten sich jetzt bereits in groben Zügen mit den neuen Anforderungen vertraut machen. Schließlich kann ein Verstoß gegen bestimmte verbotene Nutzungen von KI’s mit einem Bußgeld von bis zu 20 Mio. EUR bzw. mit 4 Prozent des weltweiten Jahresumsatzes sanktioniert werden. Bei mittel- und langfristigen Entwicklungsarbeiten lohnt es sich daher, bereits jetzt schon grundsätzlich die Themen der neuen Verordnung zu berücksichtigen.

Hintergrund

Die EU-Kommission hat bereits in ihrem Weißbuch vom 19. Februar 2021 (Weißbuch zur künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen) angekündigt, den Einsatz von künstlichen Intelligenzen, die zu einem hohen Risiko führen, zu regulieren. So wurden etwa Anforderungen an Trainingsdaten, Transparenz, Robustheit und Genauigkeit, Dokumentation und menschliche Aufsicht in Aussicht gestellt. Nun wurde der entsprechende Verordnungsentwurf am 21. April 2021 veröffentlicht, nachdem bereits eine Woche zuvor eine nur wenig abweichende geleakte Version kursierte.

Als Verordnung wird das Regelwerk ab seinem Inkrafttreten in jedem Mitgliedstaat unmittelbar und direkt anwendbar sein. Anders als bei der Datenschutzgrundverordnung handelt es sich bei dem Entwurf nicht um eine „Verordnung mit Richtlinien Charakter“, die durch zahlreiche Öffnungsklauseln für die Mitgliedstaaten gekennzeichnet ist. Nur für sehr wenige – aber bedeutende – Fragen verbleibt ein geringes Maß an Autonomie bei den Mitgliedstaaten: So können die Mitgliedstaaten insbesondere bestimmen, welchen Behörden die nationale Durchsetzung obliegt und welche Sanktionen bei einem Verstoß gegen die Verordnung greifen (nur für wenige Verstöße wurde bereits der parallele Bußgeldrahmen zur DSGVO festgelegt).

Verbot der Nutzung von KI-Systemen

Unabhängig davon, ob die Nutzung einer künstlichen Intelligenz unter die Definition von „High-Risk AI-System“ fällt, sind folgende gegenwärtig noch sehr vage beschriebene Verbote in der Verordnung enthalten (siehe Artikel 4). Demnach darf eine künstliche Intelligenz nicht für folgende Zwecke eingesetzt werden:

• Die Manipulation menschlichen Verhaltens, der Meinungsbildung und der Entscheidungsfreiheit soweit sich dadurch eine Meinung oder eine Entscheidung zum Nachteil des Betroffenen ergibt.
• Auswertung von Informationen über Einzelne oder Gruppen, um deren Schwächen oder spezielle Umstände („weakness or special circumstances“) auszunutzen und Entscheidungen zum Nachteil der Personen zu fördern.
• Social-Scoring soll vollständig ausgeschlossen sein (jedoch keine Bonitätsprüfung und ansonsten bisher übliche Scoring-Verfahren).
• Verwendung von KI zur Überwachung von Personen.

Je nachdem wie weit man die obigen Verbote auslegt, könnten auch sämtliche Formen des Einsatzes von KI für „Nudging“ verboten werden. Auch der Einsatz künstlicher Intelligenz für die Auswahl passender Werbemittel könnte erfasst sein. Letztlich könnten sogar sämtliche große Social Media Angebote verboten werden, da diese alle letztlich Meinungen beeinflussen und KI einsetzen. Hier bleibt also zu hoffen, dass der Gesetzgeber nachschärft.

Komplexe Definition von „High-Risk AI-Systems“

Während die oben ausgeführten Verbote für sämtliche KI-Systeme gelten, bestehen die im Folgenden genannten Anforderungen nur für Hochrisiko-KI-Systeme. Es ist deshalb wesentlich, welche KI-Systeme als solche eingeordnet werden. Hierfür stellt die Verordnung einerseits auf das bestehende europäische Produktsicherheitsrecht ab. So wird etwa festgelegt, dass sämtliche Produkte, für die eine Konformitätsbewertung durch einen Dritten erforderlich ist, als Hochrisiko-KI-Systeme gelten. Darüber hinaus werden ganze Produktkategorien grundsätzlich als Hochrisiko-KI-System angesehen. Hierzu zählen etwa der Einsatz von KI in Kraftfahrzeugen, Luftfahrzeugen, Eisenbahnen und Schiffen.

Andererseits werden auch in einer Liste Einsatzzwecke von KI - unabhängig von Produktsicherheitsrecht – festgelegt, die per se als „hochriskant“ gelten. Dazu zählen folgende Einsatzzwecke:

• Bewerberauswahl
• Bonitätsprüfung
• Zugang zu Studium und Ausbildung und Bewertung von Prüfungsleistungen in Ausbildung und Studium
• Beurteilung von Personen im Zusammenhang mit Strafverfolgung und ähnlichen freiheitsbeschränkenden Maßnahmen
• Hilfs-KI’s für Richter
• Asyl- und Visaprüfung
• Biometrische Erkennung bei Überwachung an öffentlich zugänglichen Orten
• Einsatz von KI bei dem Betrieb kritischer Infrastrukturen, wie etwa Wasser-, Gas- und Elektrizitätsversorgung.

Anforderungen an „High-Risk AI-Systems“

Die Detailformulierung der Anforderung an hochriskante KI-Systeme ist umfangreich und es ist fraglich, ob sich jedes Detail im Gesetzgebungsprozess durchsetzen wird. Grundsätzlich ist aber zu erwarten, dass ganz allgemein folgende Anforderungen gestellt werden:

• Anforderung an die Qualität von Test- und Trainingsdaten (Artikel 8)
• Nachvollziehbarkeit der Ergebnisse (Artikel 9)
• Dokumentation (Artikel 9) und Katalog mit Mindestanforderung an die Dokumentation in Annex IV
• Transparenz- und Informationspflichten gegenüber den Nutzern
• Überwachung des Einsatzes der KI durch Menschen (Artikel 11)
• Robustheit, Genauigkeit und Sicherheit (Sicherheit im Sinne von „Security“, Artikel 12)
• Nach Markteinführung: Überwachung der Tätigkeiten der KI im Markt (Artikel 54)
• Meldepflicht bei schwerwiegenden Ereignissen oder Fehlfunktionen („serious incidents or malfunctioning“, Artikel 55)

Wen trifft die Verpflichtung?

Die oben genannten Verpflichtungen treffen nicht nur denjenigen, der als „Provider“ jemanden ein eigenes KI-System im eigenen Namen zur Verfügung stellt oder dieses selbst einsetzt. Auch ein Importeur, Distributor und schließlich auch der schlichte Anwender eines KI-Systems werden durch die Verordnung verpflichtet. Durch eine sehr vage Formulierung werden sogar weitere Dritte, die in der Wertschöpfungskette für „High-Risk AI-Systems“ beteiligt sind, ebenfalls mit in die Verpflichtung genommen.

Haftung und Sanktionen

Nur für die Verwendung der „verbotenen“ KI Systeme ist bislang das Maximalbußgeld in Höhe von EUR 20.000.000 bzw. 4 Prozent des weltweiten Jahresumsatzes – parallel zur DSGVO – vorgesehen. Inwieweit und in welcher Höhe weitere Verstöße sanktioniert werden können, sollen die Mitgliedsstaaten jeweils für sich entscheiden. Es droht also ein europäischer Flickenteppich.

Im Übrigen werden die Regelungen allerdings die bestehende zivilrechtliche Haftung beeinflussen und dementsprechend verschärfen. Beruht ein Schaden (zumindest auch) darauf, dass eine Verpflichtung aus der Verordnung nicht umgesetzt wurde, ist es möglicherweise zukünftig für den Geschädigten viel leichter nachzuweisen, dass gegen ein „Schutzgesetz“ verstoßen wurde bzw. welches die „im Verkehr erforderliche Sorgfalt“ ist. Zudem ist denkbar, dass die Vorschriften der Verordnung als „Marktverhaltensregeln“ im Sinne des UWG eingeordnet werden - parallel zu den ähnlich strukturierten Produktsicherheitsregeln.

Was bedeutet dies jetzt für die Verpflichteten?

Angesichts der Brisanz des Themas – und angesichts der pandemiebedingten „Lähmung“ einiger Gremien – ist nicht mit einer sehr raschen Finalisierung des Gesetzgebungsaktes zu rechnen. Dennoch muss man zur Kenntnis nehmen, dass die EU mit diesem Entwurf zeigt, dass ihr der Input aus diversen Ethikkommissionen ernst ist. In verschiedenen nationalen und internationalen ideengebenden Kommissionen wurden in den vergangenen Jahren nämlich immer wieder genau die Punkte, die oben als Verpflichtung genannt werden, gefordert.

Jeder der mittel- und langfristige Entwicklungen im Bereich KI plant, leitet, finanziert oder aus sonstiger Perspektive damit befasst ist, muss damit rechnen, dass früher oder später die genannten Verpflichtungen zu geltendem Recht werden – in welcher Detailformulierung und mit welchem Sanktionsmechanismus bewehrt steht hierbei allerdings noch in den Sternen. Daher ist grundsätzlich zu empfehlen, bei aktuellen Entwicklungen zu prüfen, ob die Umsetzung der oben genannten Anforderungen in einer generellen Art und Weise kostengünstig zu Beginn einer Entwicklung berücksichtigt werden können. Man mag sich an das Problem des Löschens von Daten erinnern, eine Anforderung der DSGVO, die technisch zunächst schlichtweg nicht umgesetzt werden konnte, weil die IT-Systeme und Datenbanken dies nicht berücksichtigten. Der Verordnungsentwurf bietet eine Gelegenheit, es besser zu machen und damit womöglich später umfangreiche Kosten zu sparen und sich einen Vorsprung vor Wettbewerbern zu verschaffen.