Détection d’anomalies dans une foule 1/5 : Considérations éthiques liées à la vidéosurveillance

Cette série d’articles plonge au cœur des défis, des concepts et des technologies de l’Intelligence Artificielle appliquée à la détection d’anomalies dans les foules. À travers chaque article, nous explorons une des étapes clés de notre projet, des enjeux éthiques aux algorithmes innovants, en passant par le décryptage théorique du traitement vidéo par l’IA.
Le premier article se concentre sur les considérations éthiques inhérentes à la vidéosurveillance moderne.

Préambule

Tout progrès s’accompagne de ses propres questions éthiques, et l’IA ne fait pas exception à cette règle. Le travail entrepris dans le cadre de ce projet vise à définir un système IA incorporant des modules de détections d’objets, de tracking et de reconnaissance d’évènements dans un but de détection d’anomalies dans des scènes de foules. Ce projet soulève alors des interrogations éthiques légitimes et importantes à aborder, assurant une mise en œuvre responsable et durable, respectueuse des libertés individuelles et des droits fondamentaux, y compris la liberté d’expression.

Ces questions seront abordées dans cette section à travers cinq axes spécifiques : la confidentialité et la vie privée, les biais et la discrimination, la sécurité, la transparence et l’interprétabilité, l’impact écologique.

Texte partiellement généré avec ChatGPT

🔒 Confidentialité et vie privée

Ne pas garantir une interdiction totale de la reconnaissance faciale est donc une opportunité manquée énorme pour arrêter et prévenir des dommages colossaux aux droits de l’homme, à l’espace civique et à l’État de droit qui sont déjà menacés dans toute l’UE”

- Mher Hakobyan, conseiller en plaidoyer sur l’intelligence artificielle pour Amnesty International (source)

Le roman dystopique de George Orwell, “1984”, publié en 1949, a popularisé le concept de “vidéosurveillance” et introduit la figure de “Big Brother”, désormais utilisée pour caractériser des institutions ou des pratiques violant les libertés fondamentales et la vie privée des populations ou des individus. Alors que la “vidéosurveillance” n’était qu’une science-fiction spéculative à l’époque, elle est désormais rendue possible grâce à l’IA et à la vision par ordinateur, remplaçant et dépassant les capacités humaines en matière de surveillance. Ces avancées ont conduit à une explosion du marché de la vidéosurveillance, avec une augmentation exponentielle du nombre de caméras installées dans des espaces privés et publics, encouragée par les autorités pour lutter contre l’insécurité.

Quantité de données quotidienne générée par les caméras de surveillance (source)

Les avancées techniques dans les domaine de la reconnaissance faciale et de la vision par ordinateur alimentent également les préoccupations contemporaines au sujet de la préservation du droit à la vie privée.

Les caméras de surveillance capturent souvent des images d’individus permettant leur identification directe ou indirecte. Ces données relèvent de la catégorie des “données personnelles” et sont protégées par le règlement général sur la protection des données (RGPD), le texte de référence de l’Union européenne (UE) en matière de protection des données personnelles.

Le CEPD (Contrôleur Européen de la Protection des Données) est l’autorité en charge de superviser la conformité au RGPD dans l’Union européenne. Il joue un rôle de conseiller, de superviseur et de promoteur des bonnes pratiques auprès des institutions européennes, tout en étant habilité à sanctionner en cas de non-conformité au RGPD. Parmi les principes qu’il cite figurent notamment les suivants :

• Minimisation des données : “Les caméras peuvent et doivent être utilisées de manière intelligente et ne devraient cibler que des problèmes de sécurité spécifiquement identifiés, minimisant ainsi la collecte d’images inutiles.”
• Droit à l’information : “Des avis peuvent être trouvés dans les bâtiments des institutions de l’UE informant le personnel et les visiteurs des caméras de sécurité en place. Ces panneaux sont obligatoires car les personnes affectées par la vidéosurveillance doivent être informées dès son installation sur la surveillance, son but et la durée pendant laquelle les images seront conservées et par qui.”
• Période de rétention : “Le Contrôleur européen de la protection des données (CEPD) exige que toutes les institutions de l’Union européenne aient des politiques claires concernant l’utilisation de la vidéosurveillance sur leurs lieux, y compris sur le stockage potentiel.”

Les algorithmes et modèles d’IA développés doivent prendre en compte ces principes, tout comme le matériel mis en œuvre dans les espaces publics, mais ils posent également de nouveaux dangers potentiels qui nécessitent une législation supplémentaire.

Le 9 décembre 2023, les négociateurs du Parlement européen et du Conseil ont conclu un premier accord provisoire sur la législation sur l’intelligence artificielle. Le texte a été voté le 13 mars 2024 et le projet de règlement doit être officiellement adopté par le Conseil de l’Europe après vérification par un juriste-linguiste. Cette réglementation vise à garantir que les droits fondamentaux, la démocratie, l’État de droit et la durabilité environnementale soient protégés contre les risques liés à l’IA en veillant à ce que les systèmes utilisés dans l’UE soient sûrs, transparents, traçables, non discriminatoires, respectueux de l’environnement et supervisés par des individus plutôt que par une automatisation afin d’éviter des résultats indésirables.

Concrètement, les principales interdictions définies par cette loi et auxquelles il faut adhérer sont :

• La catégorisation biométrique utilisant des caractéristiques sensibles (opinions politiques, religieuses, philosophiques, orientation sexuelle, ethnicité…) ;
• L’extraction non ciblée d’images faciales sur Internet ou vidéosurveillance pour créer des bases de données de reconnaissance faciale ;
• La reconnaissance des émotions sur le lieu de travail et dans les établissements éducatifs ;
• La cotation sociale basée sur le comportement social ou les caractéristiques personnelles ;
• L’emploi d’une IA manipulant le comportement humain pour contourner le libre arbitre d’une personne ;
• L’utilisation d’une IA pour exploiter les vulnérabilités des individus (en raison de l’âge, du handicap, de la situation sociale ou économique).

Cependant, certaines exemptions sont prévues pour les services de maintien de l’ordre en cas de menace terroriste, de recherche de victimes ou de certains crimes prédéfinis. Ces exceptions restent inacceptables pour certaines organisations de défense des droits de l’homme telles qu’Amnesty International, qui estime qu’une “interdiction totale” est nécessaire pour “prévenir les atteintes aux droits de l’homme infligées par la reconnaissance faciale”. Enfin, notons que certaines de ces interdictions sont déjà en vigueur dans des pays en dehors de l’UE. Cinq d’entre eux ont été spécifiquement ciblés par Reporters sans Frontières en tant qu’”ennemis de l’Internet” dans le “Rapport spécial sur la surveillance de l’Internet” publié en 2013 : Bahreïn, l’Iran, la Syrie, le Vietnam et la Chine, dont le Système de Crédit Social, où les citoyens et les entreprises se voient attribuer ou déduire des points en fonction du comportement social, avait déjà fait l’objet de débats. Sur plus d’un milliard de caméras dans le monde, plus de 540 millions sont estimées être chinoises.

Nombre de caméras CCTV pour 1000 personnes pour les villes les plus équipées du monde (source)

🤝 Biais et discrimination

L’impact indéniable de l’IA sur les individus repose sur des algorithmes régis par des règles et des paramètres. Cependant, lorsque ces règles sont biaisées, affectant de manière disproportionnée certains groupes en accordant un poids indu à des paramètres spécifiques, des préoccupations éthiques surgissent. De plus, si ces algorithmes sont entraînés sur des ensembles de données historiques reflétant et potentiellement amplifiant les biais sociétaux, les conséquences peuvent être graves. Cela est particulièrement critique lorsque des algorithmes biaisés traitent des données humaines sensibles, comme dans le domaine de la santé, conduisant à des décisions discriminatoires et à des atteintes importantes aux droits fondamentaux de l’homme. “Bias in Algorithms: Artificial Intelligence and Discrimination”, un rapport publié en 2022 par l’Agence des droits fondamentaux de l’Union européenne examine les implications de l’intelligence artificielle (IA) sur les droits fondamentaux en explorant les différentes formes de biais qui peuvent se manifester dans les systèmes d’IA, ainsi que les défis juridiques, éthiques et sociaux associés à ces problèmes avant de proposer des recommandations pour atténuer ces biais.

Par exemple, il a été montré à travers plusieurs études que les systèmes de diagnostic assisté par ordinateur (CAD) ont affiché une précision plus faible pour les patients noirs que pour les patients blancs, entraînant un biais racial. Dans son papier publié en 2019, Dissecting racial bias in an algorithm used to manage the health of populations, Obenmeyer et son équipe ont mis en lumière le biais racial d’un algorithme utilisé dans le domaine médical pour identifier les patients à haut risque afin de leur fournir des soins de santé ciblés. En l’occurence, celui-ci surestimait les besoins médicaux des patients blancs tout en sous-estimant ceux des patients noirs ayant des problèmes de santé similaires.

Un autre exemple marquant est celui de Midjourney, un modèle d’image générative qui a démontré des biais liés à l’âge et au genre. Lorsqu’il était chargé de créer des images de personnes exerçant des professions spécialisées, le modèle décrivait systématiquement les personnes plus âgées comme des hommes, renforçant ainsi les biais liés au genre et à l’âge concernant les rôles des femmes dans le monde du travail.

Les sources de ces biais sont diverses, provenant de l’ensemble de données, des algorithmes eux-mêmes (ou d’autres composants d’un système d’IA), ou même de l’interprétation humaine des résultats du modèle.

• Biais des données d’entraînement : Les modèles apprennent des comportements à partir des données d’entraînement, nécessitant une représentation complète de la population globale sans sous-représentation d’aucun groupe. Omettre des données sensibles lorsque cela n’est pas nécessaire aide à éviter de reproduire des biais discriminatoires présents dans les archives historiques. Il peut également y avoir un changement dans les caractéristiques de l’ensemble de données d’entraînement en raison du passage du temps. Il est parfois nécessaire de mettre à jour cet ensemble de données (et ensuite d’affiner le modèle) pour éviter l’obsolescence du modèle. Dans notre travail sur la reconnaissance de personnes dans les vidéos, des efforts sont déployés pour assurer une représentation équitable de chaque ethnie ou genre dans l’ensemble de données d’entraînement.
• Biais algorithmiques : Ces biais peuvent découler d’erreurs de programmation, de la conception de l’algorithme ou son utilisation ou des décisions inattendues liées à la collecte de données.
• Biais cognitifs : Nous sommes tous inévitablement influencés par des expériences ou des préférences, introduisant des biais cognitifs dans les modèles et conduisant potentiellement à des conclusions discriminatoires.

Des techniques telles que l’équilibrage de l’ensemble de données, l’audit du modèle et une conception éthique des algorithmes peuvent atténuer les risques de biais discriminatoires. La transparence dans le processus de développement et la collaboration avec des experts en éthique et en diversité sont cruciales pour identifier et résoudre les biais potentiels.

L’établissement de cadres légaux et normatifs solides est essentiel pour réglementer de manière éthique l’utilisation des systèmes de vidéosurveillance intelligents. De nombreux régulateurs et législateurs travaillent activement à incorporer des dispositions spécifiques pour prévenir et corriger les biais dans l’IA, ainsi que des mécanismes de responsabilité en cas de discrimination injuste. La collaboration entre les gouvernements, les chercheurs et les praticiens est essentielle pour élaborer des normes et des restrictions éthiques et légales efficaces.

👮‍♂️ Sécurité

Le déploiement des technologies de surveillance peut être exploité à des fins malveillantes, notamment la surveillance intrusive ou la collecte illégale d’informations. Plus spécifiquement, les cyberattaques peuvent viser à tromper un modèle en “empoisonnant” ses données d’entrée ou en collectant des données personnelles utilisées pour l’entraînement et les paramètres du modèle. Des protocoles de sécurité robustes sont impératifs pour prévenir tout usage abusif des systèmes d’IA et doivent assurer l’intégrité, la disponibilité et la confidentialité du modèle.

Pour en savoir plus, vous pouvez consulter notre article sur la robustesse et la sécurité des systèmes IA ici.

🔎 Transparence et interprétabilité

Un modèle d’IA est considéré comme “interprétable” lorsque les humains peuvent facilement appréhender ses décisions et comprendre comment une prédiction est faite. En revanche, lorsqu’un modèle est trop complexe pour être compris par les humains, il est souvent qualifié de “boîte noire”. Ainsi, la transparence d’un système d’IA dépend moins de la publication du code ou de ses ensembles de données que de la compréhension et de l’explicabilité des prédictions qu’il génère.

Le niveau de transparence requis pour un projet d’IA dépend de l’impact de sa technologie. Plus l’impact est grand, plus les considérations éthiques sont importantes, nécessitant une capacité plus élevée à expliquer ses décisions. Par exemple, un système de recommandation publicitaire peut nécessiter moins d’interprétabilité qu’un modèle de diagnostic médical.

Modèles “boîte noire” et modèles interprétables (source)

Dans le cas des applications de vidéosurveillance, la sensibilité et l’impact sur les individus peuvent varier. Lors de la conception des modèles, il est crucial de s’assurer que leur niveau d’interprétabilité est proportionnel à l’importance du problème qu’ils abordent. Il est souvent recommandé de mettre en place des systèmes d’alerte sans prise de décision automatisée, afin d’inclure l’humain dans le processus décisionnel. Il existe des méthodes d’inspection spécifiques au modèle pour recueillir des informations sur le poids des variables dans la prise de décision. L’application de ces méthodes sont souvent relatives à la famille du modèle implémenté (réseaux neuronaux, modèles génératifs, méthodes basées sur des arbres etc.). Cependant, parmi les plus significatives considérons :

• SHAP (SHapley Additive exPlanations) : Permet la quantification de la contribution de chaque caractéristique à la prédiction.
• Partial Dependence Plot (PDP) : Montre la relation entre une caractéristique (ou deux) et les prédictions du modèle tout en moyennant les effets des autres caractéristiques.
• Model Surrogate : Approxime les prédictions d’un modèle complexe avec un modèle interprétable (par exemple, utiliser un arbre de décision pour approximer un réseau de neurones).
• LIME (Local Interpretable Model-Agnostic Explanations): Perturbe les données d’entrée localement autour de la prédiction et ajuste un modèle simple et interprétable pour expliquer la prédiction du modèle complexe.
• LRP (Layer wise relevance propagation) : Distribue la prédiction d’un réseau de neurones vers les caractéristiques d’entrée pour identifier quelles parties de l’entrée étaient les plus pertinentes.
• Techniques de Réduction de Dimensionalités : Réduit la dimension des données d’entrées en conservant l’information importante. Permet entre autres la visualisation des données à haute dimension en 2D ou 3D.

L’utilisation de ces méthodes contribue également à limiter les biais cachés et les vulnérabilités potentielles en matière de sécurité.

♻️ Impact écologique

L’année 2023 a été la plus chaude jamais enregistrée, avec des températures mondiales moyennes de 1,46°C au-dessus des niveaux préindustriels et 0,13°C au-dessus de la moyenne des onze mois de 2016. Les niveaux de CO2 dans l’air n’ont jamais été aussi élevés, et les tailles de population de mammifères, poissons, oiseaux, reptiles et amphibiens ont connu une baisse moyenne de 68 % entre 1970 et 2016, principalement en raison de l’activité humaine.

Dans ce contexte, il serait impensable de ne pas tenir compte de l’impact des systèmes d’IA qui seraient mis en œuvre en relation avec la vidéosurveillance, utilisant des données vidéo encore plus lourdes que les données textuelles ou audio.

Les progrès technologiques de l’IA s’accompagnent d’un coût environnemental, suscitant des inquiétudes quant à leur durabilité. L’impact environnemental négatif de l’IA peut être souligné à travers des problématiques telles que les émissions de carbone, les déchets électroniques, la perturbation des écosystèmes, et le manque de transparence et de responsabilité.

Les bénéfices liés à l’IA dissimulent un processus énergivore avec une empreinte carbone substantielle. À mesure que les modèles et ensembles de données d’IA deviennent plus complexes, l’énergie nécessaire à leur formation et leur fonctionnement augmente. Les chercheurs d’OpenAI révèlent un doublement de la puissance de calcul nécessaire pour les modèles d’IA de pointe tous les 3,4 mois depuis 2012 (en accord avec les principes de la loi de Moore), projetant une part importante (14 %) des émissions mondiales de l’industrie des technologies de l’information et de la communication d’ici 2040. Une étude récente indique que l’entraînement de grands modèles d’IA peut émettre une empreinte carbone équivalente à 300 vols aller-retour entre New York et San Francisco, soulignant l’urgence de traiter le rôle de l’IA dans le changement climatique.

Comparaison des émissions de CO2 de différentes activités (source)

Un autre défi environnemental pour l’IA est l’élimination des déchets électroniques. Incluant des produits chimiques dangereux tels que le plomb, le mercure et le cadmium, les déchets électroniques mettent en danger les écosystèmes et la santé humaine. D’ici 2050, le Forum économique mondial prévoit que les déchets électroniques dépasseront 120 millions de tonnes. Une gestion et un recyclage adéquats des déchets électroniques, imposés par des lois strictes, sont essentiels pour minimiser les dommages environnementaux.

En plus de poser des défis en termes d’émissions de CO2 et de déchets électroniques, l’IA peut aggraver les problèmes liés à la perturbation des écosystèmes. Óscar Silva, chercheur à l’Université de Cantabrie a notamment mis en lumière l’impact du développement des voitures autonomes sur, entre autres, la fragmentation des ecosystèmes.

De plus, des préoccupations éthiques surgissent en raison du manque de transparence et de responsabilité, certaines entreprises privilégiant leur bien-être financier et leur avantage concurrentiel par rapport aux effets négatifs potentiels que les technologies d’IA peuvent avoir sur l’environnement.

Une stratégie multifacette est nécessaire pour réduire l’impact environnemental de l’IA. Cela comprend le financement de la recherche sur du matériel et des algorithmes économes en énergie, l’optimisation des systèmes d’IA, la promotion de normes de conception éthiques, et la promotion d’une culture d’ouverture et de responsabilité. La collaboration entre les parties prenantes, les gouvernements et les organismes de réglementation est cruciale pour mettre en place des normes et des restrictions précises, garantissant la création, l’utilisation et l’élimination éthiques des technologies d’IA.

La montée en puissance de l’IA suscite de véritables préoccupations environnementales, nécessitant une attention urgente. Reconnaître et aborder les défis environnementaux cachés, y compris les implications de la loi de Moore, peut initier un dialogue informé et promouvoir des pratiques responsables. Un avenir durable nécessite une intégration harmonieuse des avancées de l’IA et de la préservation de l’environnement.

Conclusion

Bien que les avancées technologiques en matière d’intelligence artificielle promettent des applications révolutionnaires, elles soulèvent de nombreuses questions éthiques qu’il est impératif d’aborder. Les préoccupations relatives à la confidentialité, à la discrimination, à la sécurité, à la transparence et à l’écologie doivent guider les efforts de développement pour garantir une mise en œuvre respectueuse de l’environnement, des libertés individuelles et des droits fondamentaux. Les régulations en préparation représentent des pas importants vers une utilisation responsable et durable de l’IA, mais nécessitent une vigilance constante et des ajustements en fonction des évolutions technologiques et sociétales. Seule une approche holistique et éthique ainsi qu’une collaboration efficace entre tous les acteurs pourra permettre de tirer le meilleur parti de l’IA tout en préservant nos valeurs, nos principes de justice et la dignité humaine.

À propos de l’auteur

Diplômé en ingénierie de l’ISEP et titulaire d’un Master en Data Science et IA de Chalmers University, Axel GAUTRAND a rejoint La Javaness en 2023 en tant que Data Scientist après un stage réussi consacré à la détection d’anomalies dans les foules. À La Javaness, Axel se concentre principalement sur des projets de Computer Vision et d’OCR, notamment pour l’archivage automatisé de documents historiques. Il s’intéresse également à l’impact de l’IA sur la performance sportive et la santé et aux considérations éthiques de cette technologie.