« Pourquoi utiliser des neurones quand on peut faire raisonner une IA à prix cassé ? ». Blague à part, découvrez Sky-T1-32B-Preview, l’enfant prodige de NovaSky, qui fait parler de lui pour son talent de raisonnement à prix défiant toute concurrence, tout droit sorti de l’éprouvette des chercheurs de l’Université de Californie à Berkeley.
Un véritable tour de force a été accompli par l’équipe NovaSky de l’UC Berkeley. En effet, leur petit dernier, Sky-T1-32B-Preview, a été conçu pour moins que le prix d’une soirée mondaine à 450 dollars. Ce modèle de raisonnement rivalise sans complexer avec la version antérieure de l’o1 d’OpenAI. Vulgarisateur paré d’une cape open source, il se présente comme le héros transparent que le monde de l’IA attendait.
À l’heure où l’entraînement des modèles coûtait souvent des millions de dollars, NovaSky rend la chose plus abordable. Comment ? Grâce aux données synthétiques, qui, telles des faux amis, semblent artificielles mais permettent de réduire sensiblement les coûts. Cette méthode, employée par d’autres compagnies comme Writer pour le modèle Palmyra X 004, transforme les millions en milliers de dollars, un peu comme Magic Mike, mais version computationnelle !
Il semblerait que raisonner ne coûte pas toujours les yeux de la tête.
Les modèles de raisonnement sont à l’IA ce que la fonction « correction automatique » est à vos textos embarrassants : capables de se corriger pour éviter les bourdes. Certes, ces modèles prennent leur temps, leur renommée reposant sur la qualité plus que sur la vitesse, s’assurant ainsi une fiabilité accrue dans des domaines complexes comme la physique ou les mathématiques.
Pour donner vie à Sky-T1, NovaSky n’a pas seulement fait des pieds et des mains, mais aussi des processeurs. L’équipe a utilisé le modèle de raisonnement QwQ-32B-Preview d’Alibaba comme mentor pour générer des données de formation et s’est servie du GPT-4o-mini d’OpenAI pour arranger ces infos. Huit GPUs Nvidia H100, 32 milliards de paramètres et 19 heures ont été nécessaires pour atteindre ce résultat impressionnant.
Malgré un palmarès honorable, Sky-T1 a encore des défis à surmonter. Alors qu’il dépasse l’o1 sur le MATH500 et LiveCodeBench, il trébuche sur le GPQA-Diamond, où des questions pointues en physique, biologie, et chimie ont eu raison de lui. Mais, ne nous arrêtons pas là, Sky-T1 n’est qu’un commencement pour NovaSky dans leur quête pour perfectionner la raison en open source.
En perspective, l’équipe de NovaSky annonce vouloir pousser le bouchon plus loin (et non, pas celui du champagne) en optimisant l’efficacité de ses modèles tout en renforçant leur capacité de raisonnement. Un beau programme qui promet d’y voir plus clair dans les futures avancées technologiques. Restez à l’écoute, car de belles surprises sont prévues dans cette aventure !
Comme quoi, chez NovaSky, on ne fait pas seulement des modèles raisonnants, on fait aussi des économies de “bucks” !
Source : Techcrunch
