Est-il acceptable que la technologie de reconnaissance faciale conduise à la discrimination raciale? C’est la question que suscite l’affaire de Pa Edrissa Manjang, un livreur pour Uber Eats, rapportée par la BBC. Ce travailleur noir a dû se battre contre un système de vérification d’identité basé sur l’IA qui l’empêchait d’accéder à l’application Uber, essentielle pour son activité professionnelle depuis novembre 2019.
L’introduction de contrôles de reconnaissance faciale par Uber en avril 2020 en utilisant la technologie de Microsoft, était censée garantir la sécurité des utilisateurs. Mais qu’advient-il lorsque cette technologie se trompe? Les échecs des systèmes automatisés et la difficulté d’obtenir un recours soulèvent de sérieux doutes sur la capacité du droit britannique à gérer l’utilisation croissante de l’IA.
Malgré des années de litige, Uber a finalement conclu un accord financier avec Manjang, sans admettre de faute. Mais ce règlement laisse un goût amer: quelle assurance avons-nous que les erreurs du passé ne se répéteront pas si les détails exacts de ce qui s’est mal passé demeurent secrets?
« La résolution du cas de Manjang par Uber ne nous dit pas ce qui est exactement arrivé. »
Ce cas rappelle l’importance de la transparence dans l’utilisation des systèmes d’IA, et la nécessité pour les employeurs d’être ouverts sur l’usage de cette technologie. Avec les lois sur la protection des données, les individus ont théoriquement des droits pour se défendre contre les décisions automatisées, mais la vraie question est, l’application de ces protections est-elle suffisante?
L’inaction de l’Office du Commissaire à l’Information au Royaume-Uni, malgré les plaintes datant de 2021, met en lumière un besoin criant d’un renforcement de l’application du droit. Il apparaît que, sans une application rigoureuse des lois en vigueur, les protections théoriques restent justement cela: théoriques.
Alors que le gouvernement britannique semble minimiser l’importance de la protection des données et hésite à adopter une législation spécifique à l’IA, on pourrait se demander si la sécurité de l’IA est vraiment une priorité. Les fonds alloués pour aider les régulateurs à faire face aux risques liés à l’IA semblent dérisoires, soulignant un manque de sérieux dans l’approche gouvernementale.
L’affaire de Manjang et les réponses insuffisantes d’Uber et de Microsoft montrent les limites de notre système actuel face aux dérives de l’IA. Avec les développements rapides dans le domaine de l’IA, ne devrions-nous pas nous presser de combler ces lacunes légales et réglementaires?
Source : Techcrunch
