« L’avenir est déjà là, il n’est simplement pas réparti de manière équitable. » – William Gibson
Imaginez que votre ordinateur vous demande une augmentation… de puissance! C’est exactement la situation dans laquelle se trouve Meta. Avec son modèle de langage Llama qui fait la pluie et le beau temps dans l’open-source, Meta prévoit une vraie escalade de la puissance de calcul nécessaire.
Mark Zuckerberg a annoncé pendant le rapport financier du second trimestre que pour entraîner Llama 4, Meta aura besoin de 10 fois plus de puissance de calcul que pour Llama 3. Oui, vous avez bien lu, dix fois plus! Et malgré cela, il préfère anticiper plutôt que de se trouver distancé par la concurrence.
La question n’est pas de savoir combien ça coûte, mais combien ça coûte de ne pas y aller.
Meta a récemment sorti Llama 3 avec 80 milliards de paramètres en avril, et déjà une version augmentée, Llama 3.1 405B, avec 405 milliards de paramètres. C’est comme si Meta disait: « Plus c’est gros, mieux c’est! »
Le CFO de Meta, Susan Li, a également souligné que la compagnie étudie de nouveaux projets de centres de données pour se préparer à l’avenir de l’IA. Et tout cela n’est pas donné! Les dépenses en capital de Meta ont monté en flèche, atteignant 8,5 milliards de dollars au second trimestre 2024, contre 6,4 milliards l’année précédente.
Pour mettre les choses en perspective, OpenAI dépense 3 milliards pour entraîner ses modèles et encore 4 milliards pour louer des serveurs chez Microsoft. Voilà qui donne le vertige!
Susan Li a aussi mentionné que Meta cherche à construire une infrastructure flexible pour rediriger la capacité de formation en fonction des besoins, que ce soit pour l’inférence de l’IA générative ou pour le classement et les recommandations.
Enfin, Meta a souligné l’importance de sa base d’utilisateurs en Inde pour ses produits IA, même si elle ne s’attend pas à des revenus significatifs de ces produits pour l’instant. Décidément, il n’y a pas de « ruée vers l’or » dans le monde de l’IA, seulement une ruée vers le silicium!
Source : Techcrunch
