Voici pourquoi l’IA en continu exige une nouvelle approche en matière d’infrastructure

L’infrastructure d’IA a été construite autour d’un schéma familier : entraîner un modèle, le déployer, puis répondre aux demandes individuelles. Mais aujourd’hui, ce schéma est en train de changer.

L’IA agentique et axée sur le raisonnement peut fonctionner en continu, traiter de longs contextes et effectuer des tâches à plusieurs étapes. Par conséquent, la puissance de calcul n’est plus la seule variable à prendre en compte. Le réseau, la mémoire, l’alimentation, le refroidissement et le transfert de données influent tous sur l’efficacité de l’IA à grande échelle. La plateforme NVIDIA Rubin a été conçue pour répondre à cette nouvelle réalité.

Des serveurs individuels à l’usine d’IA

Plutôt que d’optimiser séparément chaque composant, la plateforme NVIDIA Rubin s’appuie sur ce que NVIDIA appelle la « co-conception extrême ». Le processeur Vera, le GPU Rubin, le commutateur NVLink 6, la carte ConnectX-9 SuperNIC, l’UTD BlueField-4 et le commutateur Ethernet Spectrum-6 sont conçus pour fonctionner en parfaite synergie, comme une plateforme unique.

À l’échelle du rack, la plateforme Vera Rubin NVL72 associe 72 GPU Rubin et 36 processeurs Vera. Cette approche déplace avec efficacité l’unité de calcul du serveur individuel vers le rack, voire vers le centre de données tout entier. L’objectif n’est pas simplement d’augmenter les performances de pointe, mais de garantir des performances et un taux d’utilisation constants pour les charges de travail exigeantes d’IA en continu.

Rendre le modèle économique de l’IA viable à grande échelle

Alors que l’inférence devient une charge de travail continue, le coût de production de chaque jeton prend une importance grandissante. NVIDIA affirme que la plateforme Vera Rubin offre un coût d’inférence par jeton jusqu’à 10 fois inférieur et permet d’entraîner certains modèles de mélange d’experts en utilisant quatre fois moins de GPU que la génération Blackwell*.

En intégrant la puissance de calcul, le réseau et le reste de l’infrastructure à l’échelle du rack, la plateforme Vera Rubin est conçue pour maintenir un taux d’utilisation élevé des ressources tout en répondant aux contraintes d’énergie, d’espace, de refroidissement et d’exploitation liées à l’extension des environnements d’IA.

Cela transforme les échanges client concernant l’infrastructure. La planification de l’IA doit désormais prendre en compte non seulement la quantité de puissance de calcul disponible, mais aussi l’efficacité avec laquelle cette infrastructure peut gérer des charges de travail continues à mesure que la demande augmente.

Une nouvelle opportunité pour les partenaires

Pour les partenaires, la transition vers les usines d’IA offre l’opportunité d’aborder avec leurs clients des sujets plus vastes, comme la conception de l’infrastructure, son évolutivité et les enjeux économiques de l’IA.

Comprendre comment s’intègrent des technologies comme NVIDIA Rubin dans cette perspective permet aux partenaires de se préparer aux projets d’IA de nouvelle génération à mesure que les besoins des clients évoluent.

TD SYNNEX peut vous accompagner dans cette démarche grâce à des évaluations, des conseils d’intégration, des solutions de financement et des formations, aidant ainsi les partenaires à acquérir les connaissances et l’approche commerciale nécessaires pour saisir les opportunités émergentes en matière d’infrastructure d’IA.

Prêt(e) pour la prochaine phase de l’infrastructure d’IA ?

Explorez la plateforme NVIDIA de TD SYNNEX pour en savoir plus sur NVIDIA Vera Rubin et les technologies qui façonnent la prochaine génération d’IA.

* D’après les tests de référence projetés par le fabricant et publiés dans l’annonce officielle relative à l’architecture de la plateforme NVIDIA Rubin. Les variations de performances réelles dépendent des architectures de modèles spécifiques et des configurations des charges de travail.