Est-ce que les acteurs malveillants savent utiliser les outils de musique générative alimentés par l’IA pour propager des discours de haine ?
Il semble que oui, selon un rapport récent d’ActiveFence, une entreprise spécialisée dans la gestion de la confiance et de la sécurité sur les plateformes en ligne. Depuis mars dernier, une augmentation notable de discussions au sein de communautés proches des discours haineux a été observée. Ces discussions expliquent comment manipuler les outils de création musicale générative pour produire des chansons offensantes visant des groupes minoritaires. Mais pourquoi ces chansons générées par l’IA sont-elles si pernicieuses ?
Ces chansons ne se contentent pas uniquement de propager la haine, elles encouragent également des actes extrêmes tels que le martyre, l’automutilation et le terrorisme, selon les chercheurs d’ActiveFence. Est-ce à dire que ces outils accessibles à tous ont ouvert une boîte de Pandore de la haine en ligne ?
Vous vous rappelez peut-être de chansons haineuses du passé, mais avec ces nouvelles technologies, la production de telles musiques pourrait devenir massive. Autrefois réservées à quelques initiés, ces créations dangereuses sont aujourd’hui à la portée de n’importe qui grâce à des outils gratuits et faciles à utiliser. Et ce n’est pas tout, car cette tendance semble s’intensifier au fil des jours.
« Les plateformes doivent mettre en place des outils de prévention plus sophistiqués pour contrer cette menace. »
Quelles sont les tactiques utilisées par les utilisateurs malveillants pour contourner les filtres sur ces plateformes ? ActiveFence a identifié plusieurs méthodes, techniques et astuces. Par exemple, utiliser des orthographes alternatives de mots offensants comme « jooz » pour « Jews » pour tromper les filtres automatisés. TechCrunch a testé certains de ces contournements sur des outils comme Udio et Suno, et bien que Udio ait réussi à bloquer partiellement ces contenus, Suno est passé au travers des mailles du filet.
Mais est-ce que toutes les entreprises sont prêtes à répondre à cette menace ? Udio, par exemple, affirme qu’il interdit l’utilisation de sa plateforme pour tout discours de haine. Cependant, Suno n’a même pas répondu aux requêtes de TechCrunch à ce sujet. La situation est-elle hors de contrôle ?
Le problème ne se limite pas aux communautés en ligne les plus obscures. ActiveFence a découvert des liens vers des chansons diffusant des théories du complot antisémite ou encore, approuvant ouvertement des actes de violence sexuelle et terroriste. La musique, vecteur émotionnel puissant, semble être utilisée de façon stratégique pour renforcer la haine. Est-il possible que l’IA, initialement conçue pour le progrès et la créativité, devienne un instrument de douleur et de division ?
Que peuvent faire les plateformes pour juguler cette prolifération de contenu toxique ? En plus de renforcer les outils de détection, ActiveFence recommande des tests de sécurité intrusifs pour dévoiler ces vulnérabilités. Mais même avec des mesures préventives renforcées, les utilisateurs malveillants trouvent toujours de nouveaux moyens de contourner les filtres, soulignant la complexité du problème.
Ces chansons générées par l’IA pourraient bien devenir virales si elles suivent le même chemin que les autres contenus manipulés par IA. Le danger est-il alors sous-estimé par les autorités et les plateformes en ligne ? Selon plusieurs experts et même un organisme consultatif de l’ONU, les contenus racistes et haineux pourraient être « superchargés » par l’IA générative. Toutefois, malgré les bénéfices potentiels de ces technologies, la vigilance est de mise. Ces outils, en démocratisant la création de contenu, risquent de se transformer en de redoutables armes de propagation de la haine.
Alors, comment pouvons-nous freiner cette marée de haine générée par l’IA avant qu’il ne soit trop tard ?
Source : Techcrunch
