Source de l’image : https://artificialintelligenceact.eu/

Alignement avec l’AI Act

Suite à notre article introductif sur l’AI Act, nous poussons plus loin dans cet article l’analyse de l’AI Act. Nous décrirons plus en détail les applications d’IA concernées par le texte et les obligations principales qui incombent aux différents acteurs selon le type du système d’IA.

L’AI Act définit un système d’IA comme (source : Article 3: Definitions, point 1) “un système basé sur une machine conçu pour fonctionner avec des niveaux d’autonomie variables et pouvant démontrer une capacité d’adaptation après son déploiement. Ce système, dans le but d’atteindre des objectifs explicites ou implicites, déduit, à partir des données qu’il reçoit, comment générer des résultats tels que des prédictions, des contenus, des recommandations ou des décisions susceptibles d’influencer des environnements physiques ou virtuels.”

Plusieurs types d’acteurs concernés par l’AI Act

Le texte définit 6 entités juridiques (définis aux points 3 à 8) susceptibles d’être soumises aux futures obligations : fournisseurs; déployeurs; représentants autorisés; distributeurs; importateurs et opérateurs. Plus précisément, l’AI Act concerne :

• les fournisseurs mettant sur le marché ou en service des système d’IA, ou mettant sur le marché des modèles IA à usage général dans l’UE (que le fournisseur soit localisé ou non au sein de l’UE) ;
• les déployeurs de systèmes d’IA établis ou localisés au sein de l’UE ;
• les fournisseurs et déployeurs établis ou localisés à l’extérieur de l’UE mais dont les résultats des systèmes d’IA sont utilisés dans l’UE ;
• les importateurs et distributeurs des systèmes d’IA ;
• les fabricants mettant sur le marché ou en service un système d’IA avec leur produit sous leur nom ou marque ;
• les représentants autorisés des fournisseurs non établis en UE ;
• les personnes affectées se trouvant dans l’UE.

Nous nous sommes focalisés sur les fournisseurs et les déployeurs, étant les acteurs les plus représentés dans l’écosystème d’IA.

Source : Article 2: Scope (point 1).

L’AI Act différencie entre le fournisseur et le déployeur

🧠 Définition d’un “fournisseur” (point 3) : “Une personne physique ou morale, une autorité publique, une agence ou un autre organisme qui développe ou fait développer un système d’IA ou un modèle IA à usage général et le met sur le marché ou met le système d’IA en service sous son propre nom ou sa propre marque, que ce soit à titre onéreux ou gratuit”.

🌐Définition d’un “déployeur” (point 4) : “Une personne physique ou morale, une autorité publique, une agence ou un autre organisme utilisant un système d’IA sous son autorité, sauf si le système d’IA est utilisé dans le cadre d’une activité personnelle non professionnelle”.

Des systèmes d’IA sont exclus des obligations de l’AI Act

Avant de détailler les obligations de l’AI Act, notons qu’elles ne s’appliquent pas aux systèmes d’IA qui sont utilisés :

• exclusivement pour des fins militaires, de la défense ou de la sécurité nationale ;
• par les autorités publiques ou organisations internationales dans des pays tiers dans le cadre de la coopération internationale ou dans des accords pour l’application de la loi (law enforcement) ou coopération judiciaire avec l’UE ou avec un ou plusieurs États Membres (définition de pays tiers ici) ;
• uniquement pour la recherche et développement scientifiques. Les étapes de recherche, de test et de développement sont exclues sauf si les tests sont effectués en conditions réelles.
• par les déployeurs-personnes physiques à des fins personnelles, non-professionnelles ;
• en tant que systèmes produits sous licences gratuites et open-source à moins que ces systèmes ne soient mis sur le marché ou en service en tant qu’applications interdites, à haut risque ou à obligation de transparence.

Sources :Article 2: Scope (points 3, 4, 6, 8, 10, 12), Article 3: Definitions (points 9 et 11)

Les mesures d’alignement dépendent du type de système d’IA

Pour les fournisseurs aussi bien que pour les déployeurs (les différences sont néanmoins mises en avant, notamment quant aux mesures d’alignement), les systèmes d’IA peuvent appartenir à l’une des catégories suivantes soumises à certaines obligations :

1. Les systèmes d’IA interdits ❌

Quels sont les systèmes d’IA interdits ?

Un système d’IA est interdit s’il s’inscrit dans l’une de ces catégories :

• déploie des techniques subliminales au-delà de la conscience d’une personne ou des techniques délibérément manipulatrices ou trompeuses ;
• exploite les vulnérabilités d’une personne physique ou d’un groupe spécifique de personnes en raison de leur âge, d’un handicap ou d’une situation sociale ou économique particulière ;
• vise à créer un score social ;
• vise à évaluer les risques de personnes physiques afin de prévoir une infraction pénale ;
• crée ou développe des bases de données de reconnaissance faciale par l’extraction non ciblée d’images ;
• déduit les émotions d’une personne physique sur le lieu de travail et dans les établissements d’enseignement ;
• vise la catégorisation biométrique afin de déduire ou d’inférer leur origine ethnique, leurs opinions politiques, leur appartenance syndicale, leurs croyances religieuses, etc. ;
• vise l’identification biométrique à distance “en temps réel” dans des espaces accessibles au public.

Quelles sont les mesures d’alignement des systèmes d’IA interdits ?

Ces systèmes sont interdits. L’AI Act prévoit néanmoins des exceptions sous conditions où ces applications peuvent être autorisées (dans des cas de prévention contre un danger ou la lutte contre la criminalité notamment).

Source : Article 5: Prohibited AI Practices.

2. Les systèmes d’IA à haut risque ⚠️

Quels sont les systèmes d’IA à haut risque ?

Un système d’IA est à haut risque s’il :

• constitue ou fait partie d’un composant de sécurité

ou

• appartient à l’une des catégories à haut risque suivantes et pose un risque significatif d’atteinte à la santé, à la sécurité ou aux droits fondamentaux de personnes physiques :

1. Système biométrique ;
2. Infrastructure critique ;
3. Éducation et formation professionnelle ;
4. Emploi et gestion des ressources humaines ;
5. Accès à et satisfaction des services publics ou privés essentiels ;
6. Application de la loi ;
7. Immigration, asile et contrôle des frontières ;
8. Justice et vie démocratique.

Sources : Annex III: High-Risk AI Systems Referred to in Article 6(2), Article 6: Classification Rules for High-Risk AI Systems.

Quelles obligations pour les fournisseurs des systèmes d’IA à haut-risque ?

Les obligations de l’AI Act concernent principalement ces systèmes. Par souci de simplification, ne seront citées que les grandes lignes de ces obligations. Les fournisseurs devront notamment:

• s’assurer que leur système d’IA sont conformes avec les exigences suivantes :

1. mettre en place un système de gestion des risques ;
2. s’assurer que les données d’entraînement des modèles respectent une série de mesures de qualité ;
3. établir une documentation technique du système d’IA ;
4. s’assurer de l’enregistrement automatique des événements (logs) pendant toute la durée de vie du système ;
5. s’assurer de la transparence de leur système vis-à-vis des déployeurs en leur fournissant une liste d’instructions. Celle-ci devrait leur permettre d’interpréter les résultats du système et de les utiliser de manière appropriée ;
6. permettre une surveillance humaine effective pendant l’utilisation du système ;
7. assurer un niveau de précision, de robustesse et de cybersécurité appropriés tout au long du cycle de vie du système ;

• indiquer sur le système d’IA des informations relatives au fournisseur (notamment le nom et l’adresse) ;
• mettre en place un système de gestion de la qualité ;
• suivre une procédure d’évaluation de la conformité avant d’être mis sur le marché ou mis en service ;
• établir une déclaration de conformité UE ;
• apposer le marquage CE sur le système d’IA à haut risque ;
• enregistrer son système dans la base de données européenne avant sa mise sur le marché ou sa mise en service ;
• veiller à ce que le système d’IA à haut risque soit conforme aux exigences en matière d’accessibilité.

Par ailleurs, une entité est considérée comme fournisseur et non déployeur d’un système d’IA à haut risque déjà mis sur le marché ou en service, si elle :

• impose un nom et/ou une marque déposée différente sur ce système d’IA à haut risque ;
• modifie le but prévu de ce système d’IA qui n’était pas initialement à haut risque, y compris s’il est à usage général, de telle manière que ce système d’IA devient à haut risque.
  Le but prévu est l’usage auquel un système d’IA est destiné d’après le fournisseur, y compris le contexte et les conditions d’usage spécifiques, tels que précisés dans les informations fournies avec le système (documentation, description, etc.) ;
• modifie le système d’IA à haut risque de manière substantielle tel que ce système d’IA reste toujours à haut risque.
  Une modification substantielle signifie que le système d’IA est modifié après sa mise sur le marché ou en service de manière imprévue par l’évaluation de la conformité initiale faite par son fournisseur

Si le fournisseur estime que son système d’IA n’est pas à haut risque, il doit :

• enregistrer son système dans la base de données européenne avant la mise sur le marché ou la mise en service du système (la base de données n’a pas encore été mise en place à la date de rédaction de cet article)
• documenter son évaluation ayant conclu à l’absence de haut-risque, et la fournir à l’Autorité Nationale Compétente (ANC) sur demande

Si l’autorité de surveillance conclut que le système n’a pas été proprement classifié, le système sera sujet aux obligations des systèmes à haut risque et le fournisseur pourrait encourir une amende.

Sources : Section 2: Requirements for High-Risk AI Systems, Section 3: Obligations of Providers and Deployers of High-Risk AI Systems and Other Parties, Article 49: Registration, Article 80: Procedure for Dealing with AI Systems Classified by the Provider as Non-High-Risk in Application of Annex III, Article 25: Responsibilities Along the AI Value Chain

Quelles obligations pour les déployeurs des systèmes d’IA à haut-risque ?

L’utilisation d’un système d’IA à haut risque résulte en une série d’obligations pour les déployeurs, notamment:

• adopter les mesures techniques et organisationnelles appropriées pour s’assurer que le système est utilisé selon les instructions accompagnant le système ;
• s’assurer que les personnes en charge de la supervision humaine du système disposent des compétences et de l’autorité pour ce faire ;
• veiller à ce que les données en entrée du système sont pertinentes et suffisamment représentatives au regard de la finalité du système ;
• en cas de détection d’un risque dans l’utilisation du système (sur la santé, la sécurité ou les droits fondamentaux des personnes), le signaler au fournisseur ou au distributeur et à l’autorité de surveillance du marché concernée et suspendre l’usage du système ;
• garder les journaux (logs) générés par le système pour une durée minimale de 6 mois ;
• si le système est utilisée dans un espace de travail, en informer les salariés et leurs représentants ;
• s’il s’agit des autorités publiques ou des institutions, des organes, des organismes ou des agences de l’Union Européenne, s’assurer que ce système est enregistré dans la base de données de l’UE. Dans le cas contraire, ne pas s’en servir et le signaler au fournisseur ou au distributeur ;
• mener une analyse d’impact relative à la protection des données (AIPD) ;
• respecter la procédure décrite dans l’article 26(10) concernant l’utilisation d’un système d’identification biométrique à distance et non en temps réel (post-remote) dans le cadre d’une investigation visant une personne suspectée ou condamnée pour une infraction pénale ;
• le signaler aux personnes assujetties au systèmes d’IA quand celui-ci prend des décisions (ou participent à la prise de décision) les concernant ;
• collaborer avec les autorités compétentes dans leurs efforts d’implémentation du règlement.

Source : Article 26: Obligations of Deployers of High-Risk AI Systems.

3. Le système d’IA à obligation de transparence 🔎

Qu’est ce qu’un système d’IA à obligation de transparence ?

Les systèmes d’IA à obligation de transparence sont ceux interagissant directement avec des personnes physiques.

Quelles obligations pour les fournisseurs des systèmes d’IA à obligation de transparence ?

Les fournisseurs de ces systèmes ont l’obligation d’informer les utilisateurs qu’il s’agit d’un système d’IA, à moins que ce ne soit évident du point de vue de l’utilisateur. Les systèmes à usage général (pouvant générer du texte, de l’audio, de l’image et/ou de la vidéo) doivent informer les utilisateurs que les contenus sont artificiellement générés dès la première interaction ou exposition et s’assurer de l’accessibilité de cette information.

Source : Article 50: Transparency Obligations for Providers and Deployers of Certain AI Systems- paragraphes 1 et 2.

Quelles obligations pour les déployeurs des systèmes d’IA à obligation de transparence ?

• Les déployeurs de systèmes d’IA de reconnaissance des émotions ou de catégorisation biométrique doivent en informer les personnes physiques assujetties aux systèmes. Des exceptions peuvent exister quand il s’agit de lutte contre la criminalité, dans le respect de la législation de l’UE
• Les déployeurs de systèmes d’IA qui génèrent ou manipulent des images, des audios ou des vidéos (contenu synthétique) doivent :

1. veiller à ce que les sorties du système soient marquées dans un format lisible par une machine et marquées comme étant générées ou manipulées artificiellement (certaines exceptions existent)
2. divulguer l’origine artificielle du contenu
3. fournir ces informations dès la première interaction ou exposition et s’assurer de leur accessibilité

Source : Article 50: Transparency Obligations for Providers and Deployers of Certain AI Systems- paragraphes 2, 3 et 4.

Un système d’IA peut être en même temps à haut risque et à obligation de transparence. Dans ce cas les deux séries d’obligations s’appliquent.

4. Les modèles à usage général (General Purpose AI Models — GPAI) 🤖

Qu’est ce qu’un modèle à usage général ?

Selon la définition de l’AI Act : “Un modèle à usage général, y compris un modèle entraîné sur un grand volume de données en utilisant de l’auto-supervision à l’échelle, est un modèle qui fait preuve d’une grande généralité d’usage et qui est capable de réaliser des tâches diverses indépendamment de la manière dont il est mis sur le marché. Il peut être intégré dans divers systèmes ou applications en aval. Ne sont pas concernés les modèles utilisés pour la recherche, le développement ou le prototypage d’activités avant leur placement sur le marché.”

Les obligations liées aux GPAI incombent uniquement aux fournisseurs.

La réglementation identifie parmi ces modèles, ceux présentant un risque systémique. Pour qu’il soit considéré comme tel, le modèle doit remplir l’une des deux conditions suivantes :

• démontrer une capacité d’impact élevée. Les critères pris en compte sont :

1. le nombre de paramètres du modèle ;
2. la qualité ou la taille de l’ensemble de données ;
3. la capacité de calcul utilisée pour l’apprentissage du modèle ;
4. les modalités d’entrée et de sortie du modèle ;
5. les benchmarks et les évaluations des capacités du modèle ;
6. s’il a un impact important sur le marché en raison de sa portée ;
7. le nombre d’utilisateurs finaux enregistrés.

• son entraînement a demandé une capacité de calcul, mesurée en opérations à virgule flottante, supérieure à 1025.

La Commission peut réviser les critères de référence et les indicateurs en fonction des évolutions technologiques.

Sources: Article 3: Definitions (points 63–67), Article 51: Classification of General-Purpose AI Models as General-Purpose AI Models with Systemic Risk, Annex XIII: Criteria for the Designation of General-Purpose AI models with Systemic Risk Referred to in Article 51.

Quelles obligations pour un modèle à usage général ne présentant pas un risque systémique ?

Le fournisseur d’un modèle à usage général ne présentant pas un risque systémique doit :

• mettre en place une politique pour s’aligner avec les lois de l’Union sur le droit d’auteur et autres droits afférents ;
• rendre public un résumé détaillé sur le contenu utilisé pour l’entraînement du modèle.

D’autres obligations s’appliquent s’il ne s’agit pas d’un modèle open-source :

• rédiger et maintenir à jour la documentation technique du modèle (description générale, données et ressources utilisées, etc.) afin de la transmettre sur demande de l’AI Office ou des autorités nationales compétentes. Y intégrer au minimum les éléments précisés dans l’Annexe XI ;
• rédiger et maintenir à jour une documentation sur le modèle à destination des fournisseurs souhaitant l’intégration du modèle dans leur système d’IA. La documentation devrait inclure au minimum les éléments précisés dans l’Annexe XII.

Source : Article 53: Obligations for Providers of General-Purpose AI Models.

Quelles sont les obligations pour un modèle à usage général présentant un risque systémique ?

En plus des mesures ci-dessus :

• procéder à l’évaluation du modèle conformément à des protocoles et à des outils normalisés, y compris effectuer et documenter des tests contradictoires ;
• évaluer et atténuer les éventuels risques systémiques au niveau de l’Union, y compris leurs sources, qui peuvent résulter du développement, de la mise sur le marché ou de l’utilisation du modèle ;
• rapporter à l’AI Office et, le cas échéant, aux autorités nationales compétentes, les informations pertinentes concernant les incidents graves et les mesures correctives possibles pour y remédier ;
• assurer un niveau adéquat de protection de la cybersécurité pour le modèle et son infrastructure physique.

Source : Article 55: Obligations for Providers of General-Purpose AI Models with Systemic Risk

Quelles prochaines étapes ?

À ce stade, les obligations déclinées dans l’AI Act restent générales, et leurs mesures d’applications non encore définies. Pour cela la Commission Européenne prévoit :

• La production d’ici mai 2025 d’un code de bonnes pratiques (code of practice) destiné aux fournisseurs des modèles à usage général (GPAI) et de ceux présentant un risque systémique. Le document est particulièrement important durant la phase intermédiaire entre l’entrée en vigueur des obligations visant les GPAI (août 2025) et la production des standards harmonisés de mise en oeuvre (prévus à partir d’août 2027). Ce code de bonnes pratiques n’est pas contraignant, mais s’y conformer fait bénéficier les fournisseurs d’une “présomption de conformité”. À date, un deuxième draft du code a été publié le 19 décembre 2024 (téléchargeable ici)
• La production de standards harmonisés (appelés comme tel car ils complètent une loi européenne) attendus au plus tard en février 2026. Ils permettront l’alignement à l’ensemble des obligations de l’AI Act, en particulier pour les applications à haut risque pour lesquelles les obligations sont les plus nombreuses. Celles-ci commenceront à devenir obligatoires à partir d’août 2026 (le calendrier le mise en application de l’AI Act est disponible ici)

À propos des auteurs

Yevhenii Sielskyi fait partie de La Javaness depuis 2021, d’abord en tant que stagiaire et ensuite comme Data Scientist. En lien avec sa formation en IA et Data Science, il contribue depuis aux divers projets client et à la R&D, spécialisé en traitement de données non-structurées (textes et images). Il a également rejoint l’initiative interne “Responsible AI” en 2023 ayant pour but le développement des compétences en IA de confiance et l’intégration continue des bonnes pratiques au flux de travail habituel de l’entreprise.

Après des études en ingénierie et en géopolitique, et des expériences au sein des Nations Unies et en conseil en stratégie, Ismaïl El Hatimi rejoint La Javaness en tant que data scientist en 2020. Parallèlement à la réalisation de projets en machine learning, il s’intéresse également aux sujets liés à l’IA responsable et aux impacts politiques et sociaux de l’IA.

Merci à Jean-Baptiste Bardin pour la relecture de cet article.