Risikobasierter Ansatz des EU AI Act
In der Praxis wird häufig zwischen folgenden Risikostufen unterschieden:
- Unzulässiges Risiko: Bestimmte KI-Praktiken sind nach dem EU AI Act verboten, etwa bestimmte Formen manipulativer KI oder Social Scoring.
- Hohes Risiko: Hochrisiko-KI-Systeme unterliegen umfangreichen Anforderungen, insbesondere hinsichtlich Risikomanagement, Datenqualität, technischer Dokumentation, Transparenz, menschlicher Aufsicht sowie Genauigkeit, Robustheit und Cybersicherheit.
- Spezifische Transparenzrisiken: Für bestimmte KI-Systeme gelten besondere Transparenzpflichten, beispielsweise für Chatbots oder Systeme, die synthetische Inhalte erzeugen.
- Geringes oder minimales Risiko: Für viele andere KI-Systeme bestehen keine speziellen risikobezogenen Anforderungen, sofern nicht andere Vorschriften des AI Act greifen.
Wann gilt ein KI-System als Hochrisiko-KI-System?
Der EU AI Act sieht im Wesentlichen zwei Szenarien für die Einstufung eines KI-Systems als Hochrisiko-KI-System vor.
1. Hochrisiko-KI nach Art. 6 Abs. 1 und Anhang I
Ein KI-System gilt nach Art. 6 Abs. 1 EU AI Act als hochriskant, wenn beide Voraussetzungen kumulativ erfüllt sind:
- Das KI-System soll als Sicherheitsbauteil eines Produkts verwendet werden, das unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fällt, oder das KI-System ist selbst ein solches Produkt.
- Das Produkt bzw. das KI-System selbst muss nach den einschlägigen Harmonisierungsrechtsvorschriften einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme unterzogen werden.
Dies kann beispielsweise bei bestimmten Medizinprodukten oder anderen sicherheitsrelevanten Produkten mit integrierter KI der Fall sein.
Nicht jede KI-Funktion innerhalb eines Produkts ist jedoch automatisch ein Sicherheitsbauteil. KI-Systeme, die ausschließlich nicht sicherheitsrelevante Funktionen wie Nutzerunterstützung, Leistungsoptimierung, Effizienzsteigerung, Automatisierung oder Qualitätskontrolle übernehmen, gelten grundsätzlich nicht als Sicherheitsbauteile. Würde der Ausfall oder die Fehlfunktion des KI-Systems dagegen Gesundheit oder Sicherheit gefährden, spricht dies für die Einstufung als Sicherheitsbauteil.
2. Hochrisiko-KI-Systeme nach Anhang III
Daneben gelten die in Anhang III des EU AI Act aufgeführten KI-Systeme grundsätzlich als hochriskant.
| Nr. | Bereich | Typische Hochrisiko-Anwendungsfälle |
|---|---|---|
| 1 | Biometrie | Biometrische Fernidentifizierung, biometrische Kategorisierung anhand sensibler oder geschützter Merkmale und Emotionserkennung, soweit der Einsatz rechtlich zulässig ist. Reine biometrische Verifizierung ist ausgenommen. |
| 2 | Kritische Infrastruktur | KI als Sicherheitsbauteil bei kritischer digitaler Infrastruktur, Straßenverkehr sowie Wasser-, Gas-, Wärme- oder Stromversorgung. |
| 3 | Allgemeine und berufliche Bildung | Zugang oder Zulassung zu Bildungseinrichtungen, Bewertung von Lernergebnissen, Bestimmung des Bildungsniveaus sowie Erkennung verbotenen Verhaltens bei Prüfungen. |
| 4 | Beschäftigung und Personalmanagement | Recruiting und Bewerberauswahl, gezielte Stellenanzeigen, Beförderung und Kündigung, Aufgabenzuweisung sowie Leistungs- und Verhaltensbewertung von Beschäftigten. |
| 5 | Grundlegende private und öffentliche Dienste | Zugang zu öffentlichen Unterstützungsleistungen, Kreditwürdigkeits- und Bonitätsbewertung, Risiko- und Preisbewertung bei Lebens- und Krankenversicherungen sowie Bewertung und Priorisierung von Notrufen und Rettungseinsätzen. |
| 6 | Strafverfolgung | Bewertung des Viktimisierungsrisikos, Lügendetektoren, Bewertung der Verlässlichkeit von Beweismitteln, bestimmte Risikobewertungen sowie Profiling im Rahmen strafrechtlicher Ermittlungen, soweit rechtlich zulässig. |
| 7 | Migration, Asyl und Grenzkontrolle | Lügendetektoren, Risikobewertungen bei Einreisen, Unterstützung bei Asyl-, Visa- und Aufenthaltstitelanträgen sowie bestimmte Identifizierungsverfahren, soweit rechtlich zulässig. |
| 8 | Rechtspflege und demokratische Prozesse | Unterstützung von Justizbehörden bei der Auslegung und Anwendung des Rechts sowie KI-Systeme zur Beeinflussung von Wahlergebnissen, Referenden oder des Wahlverhaltens. |
Ausnahme für bestimmte KI-Systeme nach Anhang III
Ein in Anhang III aufgeführtes KI-System gilt ausnahmsweise nicht als hochriskant, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt und insbesondere das Ergebnis einer Entscheidungsfindung nicht wesentlich beeinflusst.
Zusätzlich muss mindestens eine der folgenden Voraussetzungen erfüllt sein:
- Das KI-System führt lediglich eine eng gefasste Verfahrensaufgabe aus.
- Es dient dazu, das Ergebnis einer bereits abgeschlossenen menschlichen Tätigkeit zu verbessern.
- Es erkennt Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern, ohne eine bereits abgeschlossene menschliche Bewertung ohne angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen.
- Es führt lediglich eine vorbereitende Aufgabe für eine Bewertung durch, die mit einem in Anhang III genannten Hochrisiko-Anwendungsfall zusammenhängt.
Eine wichtige Ausnahme von dieser Ausnahme gilt jedoch: Nimmt ein in Anhang III aufgeführtes KI-System Profiling natürlicher Personen vor, gilt es stets als Hochrisiko-KI-System.
Anbieter, die ein in Anhang III genanntes KI-System aufgrund dieser Ausnahme als nicht hochriskant einstufen, müssen ihre Bewertung vor dem Inverkehrbringen oder der Inbetriebnahme dokumentieren. Zudem bestehen entsprechende Registrierungspflichten.
Für die KI Compliance ist die richtige Risikoklassifizierung daher einer der ersten und wichtigsten Schritte: Erst auf dieser Grundlage lässt sich bestimmen, welche Anforderungen des EU AI Act für ein konkretes KI-System gelten.