« Penser que savoir tout est l’unique moyen de progresser est une vaste erreur, sinon le monde ressemblerait déjà à une encyclopédie géante. » Quand Elon Musk nous partage sa vision d’une IA ayant fait le tour du savoir humain, on se dit que même les robots ont besoin de piment dans leur vie numérique. En effet, selon le grand manitou de xAI, la manne des données serait presque épuisée. Ça laisse songeur, n’est-ce pas?
Dans une discussion filmée avec Mark Penn, chairman de Stagwell, Musk suggère que nous aurions, l’année dernière déjà, épuisé la formidable bibliothèque de données réelle que l’humanité a patiemment accumulée. Ilya Sutskever, ancien scientifique en chef chez OpenAI, est également de cet avis en parlant du fameux « pic de données ». Fini de ricaner, IA, il est l’heure de retrousser tes manches et travailler avec ce qu’on a!
Heureusement, il y aurait un espoir au bout du tunnel de données: les données synthétiques. Conçues par les modèles d’IA eux-mêmes, ces données pourraient bien être l’aubaine dont la technologie a besoin. Elles permettraient à l’IA de s’évaluer et d’apprendre par elle-même, une sorte de miroir magique des temps modernes où l’IA se raconte, se critique, et s’améliore.
L’avenir de l’IA est peut-être une illusion créée par ces mêmes IA!
Microsoft, Meta, Google, et leurs copains du monde tech (OpenAI et Anthropic, par exemple) sont déjà embarqués dans le train express des données synthétiques. Le modèle Phi-4 de Microsoft, fraîchement open-sourcé, en est la parfaite illustration, tout comme les modèles Gemma de Google et Claude 3.5 Sonnet d’Anthropic. Même Llama de Meta s’y est mis, trottinant allègrement sur la voie synthétique!
Et il n’y a pas que la créativité qui sera moins coûteuse, mais aussi les budgets. L’IA Palmyra X 004, développée par la startup Writer, a coûté à peine 700 000 dollars à produire, une bonne affaire comparé aux 4.6 millions d’un modèle OpenAI de taille similaire. Qui dirait que copier coller c’est créer? Mais ne crions pas victoire trop vite!
Les déboires ne sont jamais loin. Des recherches ont montré que le recours aux données synthétiques pourrait conduire à un effondrement des modèles, réduisant leur créativité et augmentant leurs biais. Une catastrophe numérique en devenir si ces modèles nourrissent des données déjà biaisées. L’IA, à force de se parler à elle-même, risque de se retrouver coincée dans une boucle de pensées étroites.
Alors, finissons sur une note positive : à force d’exploiter des données synthétiques, les développeurs pourraient bien concrétiser l’adage « qui se ressemble s’assemble », sauf que dans ce cas, les biais numériques nous feront passer pour des clones! Soyons clairs, le chemin reste pavé d’embûches mais qui a dit que la route vers l’avenir serait sans nids-de-poule?
Source : Techcrunch
