Peut-on vraiment faire oublier des informations à une IA sans la rendre inutile? Avec les avancées constantes en IA générative, cette question intrigue de plus en plus. Les techniques d’ »unlearning » ou désapprentissage promettent de supprimer des données précises des modèles, mais les défis qu’elles posent ne sont-ils pas encore plus grands?
On constate que ces techniques de désapprentissage peuvent rendre un modèle comme GPT-4o d’OpenAI ou Llama 3.1 405B de Meta bien moins performant pour répondre à des questions basiques. Est-il donc possible de trouver une méthode efficace sans compromettre la qualité des réponses des modèles?
Une étude récente, menée par des chercheurs de l’Université de Washington, de Princeton, de l’Université de Chicago, de l’USC et de Google, a révélé que les techniques d’unlearning les plus populaires aujourd’hui dégradent souvent les modèles au point de les rendre inutilisables. Comment ces chercheurs sont-ils arrivés à cette conclusion?
Les méthodes actuelles de désapprentissage ne sont pas encore prêtes pour des déploiements significatifs ou des usages réels.
Pour comprendre comment ces modèles apprennent, il faut savoir qu’ils ne possèdent pas d’intelligence réelle. Ils fonctionnent comme des systèmes statistiques, prédisant des mots, images, musiques, vidéos à partir de données massives. Mais alors, comment se fait-il que ces modèles puissent mémoriser des informations sensibles ou des contenus protégés par des droits d’auteur?
En réaction aux litiges concernant les droits d’auteur, l’intérêt pour les techniques de désapprentissage a grandi. Google, en partenariat avec plusieurs institutions académiques, a même lancé une compétition pour stimuler l’innovation dans ce domaine. Mais est-ce vraiment la solution ultime pour retirer des informations délicates de ces modèles?
Les algorithmes actuels tentent de « rediriger » les modèles pour qu’ils évitent d’utiliser certaines données. L’étude a évalué l’efficacité de ces algorithmes en utilisant un benchmark appelé MUSE, testant si un modèle pouvait vraiment oublier des extraits de textes comme ceux de la série Harry Potter tout en préservant ses connaissances générales.
Les résultats sont mitigés : bien que certains algorithmes parviennent à faire oublier des informations spécifiques, ils réduisent également la capacité générale du modèle à répondre aux questions. Est-il donc possible de séparer efficacement les informations ciblées des autres connaissances?
En conclusion, le chemin vers un désapprentissage efficace est encore semé d’embûches. Sans solution immédiate, quels seront les prochains développements dans ce domaine crucial? Serait-ce le moment pour les développeurs de repenser la manière dont ils forment leurs modèles IA pour éviter ces pièges? Par ailleurs, quel serait l’impact d’un tel changement sur l’industrie de l’IA dans son ensemble?
Source : Techcrunch
