Peut-on vraiment faire confiance à l’intelligence artificielle pour produire des travaux scientifiques de qualité ? C’est la question que pose Sakana, une startup japonaise, qui avance avoir généré la première publication scientifique évaluée par des pairs à l’aide de l’IA. Que se cache-t-il réellement derrière cette affirmation audacieuse ?
La société affirme avoir utilisé son système AI Scientist-v2 pour rédiger des articles soumis à un atelier de l’ICLR, une conférence prestigieuse sur l’IA. Sakana, épaulé par des chercheurs des universités de Colombie-Britannique et d’Oxford, a soumis trois articles générés de bout en bout par l’IA pour examen. Mais est-ce suffisant pour convaincre la communauté scientifique que l’IA est prête à jouer un rôle égal dans la recherche académique ?
Bien que l’un de ces articles ait été accepté, le papier a été retiré par Sakana avant sa publication. Pourquoi donc ? Selon eux, cette décision reflète un souci de transparence et un respect des conventions de l’ICLR. Mais cela ne cacherait-il pas certains défauts dans la performance de l’IA, notamment ses erreurs de citation embarrassantes ou le fait que le document n’ait pas subi un rigoureux « métareview » ?
Les taux d’acceptation des ateliers sont souvent plus élevés, une réalité que Sakana n’hésite pas à reconnaître.
Des experts comme Matthew Guzdial et Mike Cook se montrent sceptiques, soulignant respectivement la part importante du jugement humain dans le processus de sélection des articles et les capacités d’adaptation des IA à rédiger sur des échecs apparents. Alors, jusqu’à quel point l’IA influence-t-elle réellement le progrès scientifique, ou se contente-t-elle de produire ce qui semble convaincant aux yeux des pairs ?
Bien que Sakana admette ne pas revendiquer de percées scientifiques majeures, la startup insiste sur l’urgence d’établir des normes pour la recherche générée par l’IA. Cependant, peut-on vraiment ignorer les dangers potentiels d’une IA qui pourrait inonder la littérature scientifique de bruits inutiles plutôt que d’avancées substantielles ?
Les réflexions de l’entreprise sur l’avenir de l’IA dans la recherche posent une dernière question provocatrice : l’IA est-elle sur le point de redéfinir la révision par les pairs, ou dissimule-t-elle simplement une nouvelle manière de rendre commercial l’illusion de progrès scientifique ? En fin de compte, quelle est la ligne de démarcation entre une IA qui enrichit la connaissance et une qui ne fait que passer le test de la révision par les pairs ?
Source : Techcrunch
