Les chatbots actuels sont-ils trop faciles à tromper pour discuter de sujets tabous ou propager de fausses informations? C’est pourquoi l’entreprise pionnière de l’IA, Anthropic, a doté son IA générative, Claude, de 10 principes secrets d’équité qu’elle a dévoilés en mars. Dans un article de blog publié mardi, la société explique davantage comment son système AI constitutionnel est conçu et comment il est censé fonctionner.
Normalement, lorsqu’un modèle d’IA générative est en cours de formation, un humain est présent pour contrôler la qualité des résultats et fournir des commentaires. Mais cette méthode pose un problème : il faut en effet un humain pour contrôler même les résultats les plus choquants et dérangeants. De plus, cette méthode de contrôle humain est difficile à mettre à l’échelle. C’est pourquoi Anthropic fait appel à une autre IA pour s’autocontrôler.
Anthropic utilise une IA pour s’autocontrôler et respecter les principes d’équité.
Tout comme Pinocchio avait Jiminy Cricket, Claude a sa Constitution. « À un niveau élevé, la constitution guide le modèle pour adopter le comportement normatif décrit [dans la constitution] », explique l’équipe d’Anthropic. Cela va de « l’évitement des résultats toxiques ou discriminatoires » à « la création d’un système d’IA utile, honnête et inoffensif. »
Selon Anthropic, cette méthode de formation peut produire des améliorations de Pareto dans les performances de l’IA par rapport à celles qui ne sont basées que sur les commentaires humains. Autrement dit, l’humain dans la boucle a été remplacé par une IA, et tout est désormais mieux que jamais. « Dans nos tests, notre modèle CAI a répondu de manière plus appropriée aux entrées adverses tout en produisant des réponses utiles et sans être évasif », écrit Anthropic.
L’entreprise a révélé mardi que ses principes auparavant non divulgués sont tirés de « diverses sources, y compris la Déclaration des droits de l’homme des Nations Unies, les meilleures pratiques en matière de confiance et de sécurité, les principes proposés par d’autres laboratoires de recherche en IA, un effort pour capter des points de vue non occidentaux et des principes que nous avons découverts fonctionnent bien grâce à notre recherche. »
L’entreprise, anticipant inévitablement le contrecoup conservateur, souligne que « notre constitution actuelle n’est ni finalisée ni probablement la meilleure qu’elle puisse être. » Le but à long terme, selon l’équipe, n’est pas d’inculquer une idéologie politique spécifique dans l’IA, mais plutôt de permettre à l’IA de suivre un ensemble de principes donnés.
Alors, sommes-nous enfin sur la bonne voie pour créer des systèmes d’IA éthiques et responsables ?
Source : Engadget
