« Comme il est mignon ce petit Chat » mais ce petit ChatGPT d’OpenAI aurait une tendance un peu embêtante à inventer des choses. D’accord, on admet, c’est drôle d’entendre qu’en 2016, le pont du Golden Gate a été transporté à travers l’Egypte. Par contre, quand il accuse faussement un maire australien d’avoir plaidé coupable dans un scandale de corruption majeur, c’est un peu moins drôle. Vous imaginez si votre assistant vocal commence à vous partager ses « visions » ? Un peu effrayant, non ?

Ce comportement s’appelle l’hallucination et vient de la façon dont sont formés ces modèles de langage de grandes dimensions (LLMs). On nourrit ces intelligences artificielles avec d’énormes quantités d’exemples, venant généralement du web, pour leur permettre d’apprendre à prédire les chances d’apparition des mots en fonction des contextes. Ils ne sont donc pas doués d’intelligence réelle, contrairement à ce que leur nom pourrait laisser penser. Ils sont juste très forts pour prédire les associations de mots et d’autres données.

Ici, on est plus sur le schéma “Qui est-ce qui est le plus à côté de la plaque?” plutôt que “Qui va gagner à ‘Qui veut gagner des millions?’ »

Cependant, bien que cela fonctionne incroyablement bien à grande échelle, ce n’est pas infaillible. Les LLMs peuvent générer des phrases qui ont du sens en apparence, mais qui sont totalement vides de sens. Ils peuvent aussi répandre de fausses informations, ou confronter des sources d’informations qui se contredisent.

Par ailleurs, il faut noter que l’hallucination n’est pas liée à une quelconque malveillance de la part des modèles. Ils n’ont simplement pas la capacité d’estimer l’incertitude de leur propre prédiction. Drôle de paradoxe pour une machine supposée « intelligente ».

Et alors, peut-on résoudre ce problème d’hallucination ? Selon Vu Ha, un chercheur en intelligence artificielle, les LLMs « hallucineront toujours ». Cependant, il pense qu’il est possible de réduire les hallucinations en fonction de la façon dont un LLM est formé et déployé. L’astuce serait de combiner une base de connaissances de haute qualité avec un LLM pour offrir des réponses précises via un processus de récupération.

Néanmoins, même si cette approche permet de réduire les hallucinations, elle ne les élimine pas complètement. En effet, « tout système basé sur les LLMs hallucinera », estime Ha. Le vrai défi est donc de savoir si les avantages l’emportent sur les conséquences négatives de ces hallucinations.

Si les LLMs font penser à un groupe de rock psychédélique qui aurait pris un peu trop de substances hallucinogènes, est-ce vraiment un problème ? En fait, tout dépend du contexte. Dans un cadre créatif ou artistique, leur propension à produire des résultats inattendus pourrait être précieuse. Comme on dit, il faut pour faire un monde.