Quels sont les risques liés aux collaborations technologiques dans l’univers de l’intelligence artificielle? OctoML annonce la fin de sa collaboration avec Civitai, juste après qu’une enquête réalisée par 404 Media a mis en lumière l’utilisation de leur plateforme de génération d’images pour créer des contenus pouvant être classifiés comme de la pornographie infantile. Mais comment réagissent les entreprises face à ces abus flagrants?
La plateforme de conversion de texte en image de Civitai, auparavant appuyée par l’OctoAI d’OctoML, a-t-elle été défaillante dans la prévention de ces contenus inappropriés? Le 5 décembre dernier, 404 Media révélait que les communications internes chez OctoML montraient une connaissance de la création par certains utilisateurs de matériel sexuellement explicite incluant des images non consenties de personnes réelles et des représentations pornographiques d’enfants. Étaient-ils conscients des déviances possibles de leur technologie?
OctoML coupe les ponts avec Civitai après des révélations inquiétantes.
Et qu’en est-il des méthodes de modération chez Civitai? Face à l’investigation, Civitai a récemment introduit de nouveaux moyens de modération, comprenant une intégration obligatoire nommée Civitai Safe Helper (Minor), qui empêche la génération d’images d’enfants si un « thème mature » ou un mot-clé est détecté. Suffisait-il d’ajouter ce filtre pour garantir la sécurité et l’éthique de l’utilisation de l’IA?
La plateforme soutenue par Andreessen Horowitz avait déjà attiré l’attention à cause de sa fonctionnalité « bounties », encourageant les utilisateurs à créer des images réalistes de vraies personnes en échange de récompenses. Est-il admissible de mettre de côté l’éthique au profit de l’innovation? Par ailleurs, 404 Media a découvert en novembre que cette fonction était utilisée pour fabriquer des deepfakes non consentis de célébrités, influenceurs, voire de citoyens ordinaires, souvent à caractère sexuel. Encourage-t-on la création d’un monde numérique sans principes moraux?
OctoML, utilisant les serveurs d’Amazon Web Services, affirme ne plus vouloir être impliqué. Que cela nous dit-il sur la responsabilité des fournisseurs de services dans l’écosystème de l’IA? La société a déclaré à 404 Media : « Nous avons décidé de mettre fin à notre relation commerciale avec Civitai. Cette décision s’aligne avec notre engagement à assurer une utilisation sûre et responsable de l’IA. » Comment les entreprises technologiques peuvent-elles véritablement garantir une utilisation éthique et responsable de l’intelligence artificielle face à de telles controverses?
Source : Engadget
