Warum immer verfügbare KI einen neuen Infrastrukturansatz benötigt

Die KI-Infrastruktur wurde nach einem bekannten Muster aufgebaut: ein Modell trainieren, es einsetzen und dann auf einzelne Anfragen reagieren. Aber jetzt ändert sich dieses Muster.

Agentenbasierte und auf Schlussfolgerungen basierende KI kann kontinuierlich arbeiten, über lange Kontexte hinweg agieren und mehrstufige Aufgaben ausführen. Daher ist die Rechenleistung nicht mehr der einzige zu berücksichtigende Faktor. Networking, Speicher, Stromversorgung, Kühlung und Datenübertragung beeinflussen gleichermaßen, wie effizient KI im großen Maßstab funktioniert. NVIDIA Rubin wurde speziell für diese neue Realität entwickelt.

Von einzelnen Servern bis zur KI-Fabrik

Anstatt einzelne Komponenten isoliert zu optimieren, setzt NVIDIA Rubin auf das, was NVIDIA als „Extreme Co-Design“ bezeichnet. Die Vera CPU, die Rubin GPU, der NVLink-6-Switch, die ConnectX-9-SuperNIC, die BlueField-4-DPU und der Spectrum-6-Ethernet-Switch sind darauf ausgelegt, als eine einzige Plattform zusammenzuarbeiten.

Auf Rack-Ebene vereint der Vera Rubin NVL72 72 Rubin-GPUs und 36 Vera-CPUs. Dieser Ansatz verlagert die Recheneinheit effektiv von dem einzelnen Server auf das Rack – und letztlich auf das gesamte Data Center. Das Ziel ist nicht lediglich eine Steigerung der Spitzenleistung, sondern eine nachhaltige Leistung und Auslastung bei anspruchsvollen, ständig laufenden KI-Workloads.

Die Wirtschaftlichkeit der KI in großem Maßstab sicherstellen

Da die Inferenz zu einer kontinuierlichen Workload wird, gewinnen die Kosten für die Erzeugung jedes einzelnen Tokens zunehmend an Bedeutung. NVIDIA gibt an, dass Vera Rubin bis zu zehnmal geringere Inferenzkosten pro Token bietet und ausgewählte Mixture-of-Experts-Modelle mit viermal weniger GPUs trainieren kann als Blackwell*.

Durch die Integration von Rechenleistung, Networking und weiterer Infrastruktur auf Rack-Ebene ist Vera Rubin darauf ausgelegt, eine hohe Auslastung der Ressourcen zu gewährleisten und gleichzeitig die Anforderungen hinsichtlich Stromversorgung, Platzbedarf, Kühlung und Betrieb wachsender KI-Umgebungen zu erfüllen.

Dies verändert die Sichtweise der Kunden auf die Infrastruktur. Bei der KI-Planung muss nicht nur berücksichtigt werden, wie viel Rechenleistung zur Verfügung steht, sondern auch, wie effizient diese Infrastruktur kontinuierliche Workloads bei steigendem Bedarf unterstützen kann.

Eine neue Chance für Partner

Für Partner bietet der Trend hin zu KI-Fabriken die Gelegenheit, umfassendere Gespräche mit Kunden über Infrastrukturdesign, Skalierbarkeit und die Wirtschaftlichkeit von KI zu führen.

Ein Verständnis dafür, wie sich Technologien wie NVIDIA Rubin in dieses Gesamtbild einfügen, kann Partnern dabei helfen, sich auf KI-Projekte der nächsten Generation vorzubereiten, während sich die Kundenanforderungen weiterentwickeln.

TD SYNNEX kann diesen Weg durch Bestandsaufnahmen, Beratung bei der Integration, Finanzierungslösungen und Training begleiten und so den Partnern dabei helfen, das erforderliche Wissen und die notwendigen geschäftlichen Ansätze zu entwickeln, um neue Chancen im Bereich der KI-Infrastruktur zu nutzen.

Sind Sie bereit für die nächste Phase der KI-Infrastruktur?

Entdecken Sie den TD SYNNEX NVIDIA Hub, um mehr über NVIDIA Vera Rubin und die Technologien zu erfahren, die die nächste Generation der KI prägen.

*Basierend auf von dem Hersteller projizierten Benchmarks, die in der offiziellen NVIDIA Rubin Platform Architecture Announcement veröffentlicht wurden. Die tatsächlichen Leistungsschwankungen hängen von spezifischen Modellarchitekturen und Workload-Konfigurationen ab.