Javascript is required
logo-dastralogo-dastra

Système d'IA - Haut risque

Leïla Sayssa
Leïla Sayssa
6 minutes read time

Le règlement européen sur l’intelligence artificielle (AI Act) crée une typologie des systèmes d’IA selon leur niveau de risque, avec des obligations adaptées :

  • Risque inacceptable : systèmes interdits (ex. : manipulation cognitive, notation sociale).

  • Risque élevé ou à haut risque : systèmes soumis à des obligations de documentation, gestion des risques, transparence, enregistrement dans une base de données européenne (ex. : systèmes de recrutement, de gestion RH ou de crédit).

  • Risque limité : obligations de transparence renforcée (ex. : IA générative, chatbots).

  • Risque minimal : aucune obligation réglementaire directe, mais bonnes pratiques encouragées.


Il existe deux hypothèses qui permettent de qualifier le SIA en haut risque :

1) Si le SIA répond aux deux critères cumulatifs suivants selon l'article 6 du RIA :

  • Le produit contenant le SIA est soumis à une évaluation de conformité obligatoire par un organisme tiers avant sa mise sur le marché ou sa mise en service ;

  • Le SIA est destiné à être utilisé comme composant de sécurité d’un produit relevant de la législation d’harmonisation de l’Union, ou est lui-même un produit (par exemple le SIA est en lui-même un produit médical).

Par exemple, les SIA utilisés pour le recrutement ou les logiciels médicaux.

2) Le SIA relève des domaines listés à l'Annexe III : L'utilisation envisagée du système d’IA entre dans l’un des domaines d’usage listés à l’Annexe III du Règlement :

Domaine

Cas d’usage à haut risque (SIA destinés à telle utilisation)

1

Biométrie (si usage autorisé par le droit de l'UE ou national)

- Identification biométrique à distance (en temps réel ou a posteriori)
- Utilisation à fin de catégorisation biométrique sur attributs sensibles ou protégés ou leur déduction

- Ou de reconnaissance des émotions

Exclut la simple vérification biométrique (ex. authentification faciale)

2

Infrastructures critiques

- SIA utilisé comme composant de sécurité pour la gestion et l'exploitation des infrastructures numériques critiques du trafic routier, distribution d’eau, gaz, électricité, chauffage

3

Éducation & formation professionnelle

SIA destinés à :
- Déterminer l'accès, admission ou affectation à des établissements d'enseignement ou de formation professionnelle
- L'évaluation des acquis d’apprentissage
- L'évaluation du niveau d’enseignement approprié
- La détection de fraudes ou autre comportements interdits lors des examens

4

Emploi & ressources humaines

- Recrutement ou sélection automatisé (offres ciblées, tri, évaluation)
- SIA destinés à prendre des décisions influant sur les conditions pro incluant les promotion, licenciement, affectation de tâches, évaluation des performances

5

Services essentiels publics/privés

- L'évaluation de l'éligibilité aux prestations sociales essentielles (santé, aides)
- Evaluation solvabilité / notation de crédit
- Tarification en assurance santé / vie
- Traitement des urgences (hiérarchie des appels d'urgence ou priorisation dans l'envoi des services de santé d'urgence)

6

Répression (si usage autorisé par le droit de l'UE ou national)

- Évaluation du risque de victimisation, d'infraction ou récidive
- SIA destinés à être utilisés comme polygraphes / outils similaires
- Fiabilité des preuves au cours d'enquêtes ou de poursuites pénales

- évaluation de caractéristiques, antécédents judiciaires de personnes ou groupes
- Profilage dans les enquêtes / sanctions pénales

7

Migration, asile, frontières (si usage autorisé par le droit de l'UE ou national)

- SIA destinés à être utilisés comme polygraphes / outils similaire
- Évaluation de risques posés par une personne voulant entrer sur le territoire
- Évaluation de demandes d’asile / visa / titres de séjour et plaintes connexes
- Identification ou reconnaissance (hors documents) dans le cadre de la migration, asile et gestion des contrôles de frontières

8

Justice & démocratie

- Aide à l’interprétation et application du droit par les juridictions
- SIA destinés à influencer le résultat sur les élections ou référendums ou comportement électoral (hors outils logistiques)


Exception : Le SIA n'est exceptionnellement pas considéré comme “à haut risque”, même s'il fait partie de l'annexe III, à condition qu’il ne présente pas de risque significatif pour la santé, la sécurité ou les droits fondamentaux des personnes physiques, et que l’une au moins des conditions suivantes soit remplie :

  • Le SIA est destiné à exécuter une tâche procédurale étroite (tâche technique ou administrative sans autonomie décisionnelle) ;

  • Le SIA est conçu pour améliorer le résultat d’une activité humaine déjà réalisée, sans la remplacer ni influencer la décision finale ;

  • Le SIA a pour but de détecter des schémas de décision ou des écarts par rapport à des décisions humaines antérieures, sans remplacer ou influencer l’évaluation humaine déjà faite, ni sans supervision humaine appropriée ;

  • Le SIA a pour fonction d’accomplir une tâche préparatoire à une évaluation menée dans le cadre d’un cas d’usage reconnu comme “à haut risque” par la Commission européenne (ex. pré-tri de dossiers sans décision autonome).

Or un SIA qui effectue un profilage de personnes physiques est toujours considéré comme étant à risque élevé.

Subscribe to our newsletter

We'll send you occasional emails to keep you informed about our latest news and updates to our solution

* You can unsubscribe at any time using the link provided in each newsletter.