Art. 5 EU AI Act verbietet bestimmte besonders schädliche KI-Praktiken. Das Verbot kann sich je nach Tatbestand auf das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems beziehen.
Zu den verbotenen KI-Praktiken gehören insbesondere:
- Manipulative, täuschende oder unterschwellige Beeinflussung: KI-Systeme, die solche Techniken einsetzen, um die Fähigkeit einer Person oder Personengruppe zu einer informierten Entscheidung erheblich zu beeinträchtigen und dadurch einen erheblichen Schaden verursachen oder mit hinreichender Wahrscheinlichkeit verursachen.
- Ausnutzung besonderer Schutzbedürftigkeit: KI-Systeme, die Schwächen aufgrund des Alters, einer Behinderung oder einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzen, um das Verhalten einer Person wesentlich zu beeinflussen und dadurch erheblichen Schaden zu verursachen oder wahrscheinlich zu verursachen.
- Social Scoring: KI-Systeme zur Bewertung oder Einstufung natürlicher Personen oder Personengruppen anhand ihres sozialen Verhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher Eigenschaften, wenn daraus eine gesetzlich erfasste Schlechterstellung oder Benachteiligung resultiert.
- Vorhersage individueller Straftaten: KI-Systeme, die das Risiko, dass eine natürliche Person eine Straftat begeht, ausschließlich auf Grundlage von Profiling oder der Bewertung persönlicher Eigenschaften und Persönlichkeitsmerkmale beurteilen oder vorhersagen. Ausgenommen ist unter bestimmten Voraussetzungen KI, die lediglich eine menschliche Bewertung auf Grundlage objektiver und überprüfbarer Tatsachen unterstützt.
- Ungezieltes Scraping für Gesichtserkennungsdatenbanken: KI-Systeme, mit denen Datenbanken zur Gesichtserkennung durch ungezieltes Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellt oder erweitert werden.
- Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen: KI-Systeme, die Emotionen natürlicher Personen in diesen Bereichen ableiten sollen. Ausnahmen bestehen für bestimmte medizinische oder sicherheitsbezogene Zwecke.
- Biometrische Kategorisierung anhand besonders sensibler Merkmale: Systeme, die Personen anhand biometrischer Daten kategorisieren, um beispielsweise Rasse, politische Meinungen, Gewerkschaftszugehörigkeit, religiöse oder philosophische Überzeugungen, Sexualleben oder sexuelle Orientierung abzuleiten.
- Biometrische Echtzeit-Fernidentifizierung für Strafverfolgungszwecke: Der Einsatz solcher Systeme in öffentlich zugänglichen Räumen ist grundsätzlich verboten. Der AI Act sieht jedoch eng begrenzte Ausnahmen für bestimmte Strafverfolgungszwecke vor, die zusätzlichen Voraussetzungen und Schutzmaßnahmen unterliegen.
Die Einordnung als unzulässiges Risiko hat damit weitreichendere Folgen als die Einstufung eines Systems als Hochrisiko-KI. Während Hochrisiko-KI-Systeme unter bestimmten Voraussetzungen eingesetzt werden dürfen und umfangreichen Compliance-Anforderungen unterliegen, sind die in Art. 5 erfassten KI-Praktiken grundsätzlich nicht zulässig.
Neue Verbote ab Dezember 2026
Art. 5 wurde 2026 um weitere verbotene KI-Praktiken ergänzt. Ab dem 2. Dezember 2026 gelten unter bestimmten Voraussetzungen zusätzliche Verbote für KI-Systeme, die:
- realistische nicht einvernehmlich erstellte intime Bild-, Video-, Audio- oder ähnliche Inhalte identifizierbarer Personen erzeugen oder manipulieren, oder
- Darstellungen oder Darbietungen sexuellen Missbrauchs von Kindern erzeugen oder manipulieren.
Für die KI Compliance ist es daher entscheidend, vor dem Einsatz eines KI-Systems nicht nur eine mögliche Hochrisiko-Einstufung zu prüfen, sondern zunächst auszuschließen, dass die geplante Nutzung unter eine verbotene KI-Praxis nach Art. 5 EU AI Act fällt.