Comment la startup Mistral envisage-t-elle de révolutionner la modération de contenu à l’ère de l’IA ? C’est la question que beaucoup se posent depuis qu’elle a lancé un nouvel API révolutionnaire.
Mistral, connue pour son chatbot Le Chat, a conçu une API de modération qui peut être personnalisée selon les applications et les normes de sécurité. Qu’apporte réellement cette API ? Elle s’appuie sur le modèle Ministal 8B, entraîné pour classer le texte dans plusieurs langues, dont l’anglais, le français et l’allemand. Neuf catégories ont été établies, allant de la violence aux données personnellement identifiables.
L’application de cet outil est variée : s’adresse-t-il uniquement aux textes bruts ou peut-il aussi analyser des conversations ? Selon Mistral, c’est effectivement possible. La volonté de l’entreprise est claire, comme elle l’indique sur son blog : léverager des systèmes de modération basés sur l’IA qui augmentent l’efficacité de la modération à grande échelle.
Mistral ouvre la voie à une modération plus pragmatique et adaptable selon les besoins des utilisateurs.
Mais les défis ne s’arrêtent pas là. Les systèmes de modération basés sur l’IA ne sont pas exempts de biais, soulevant des questions sur l’impartialité de ces technologies. Par ailleurs, certains modèles montrent des limitations en interprétant de manière erronée des idiomes tels que l’AAVE (African-American Vernacular English) ou en mal classant les contenus liés au handicap.
Si Mistral vante la précision de son modèle, elle reconnaît également que le développement est en cours. Pourquoi ne pas comparer ses résultats à ceux d’autres APIs de renom telles que Jigsaw ou OpenAI ? Ce silence intrigue.
Finalement, Mistral poursuit une vision ambitieuse : concevoir des outils de modération personnalisables et légers tout en collaborant avec la communauté de recherche pour faire avancer la sécurité dans ce domaine. Mais alors, quelles mesures prend Mistral pour s’assurer que ses solutions ne reproduisent pas les biais des modèles existants ?
Source : Techcrunch
