Perché l’always-on AI necessita di un nuovo approccio infrastrutturale

L’infrastruttura AI è stata costruita attorno a uno schema familiare: addestrare un modello, implementarlo, quindi rispondere alle singole richieste. Ma ora quel modello sta cambiando.

L’AI agentica e guidata dal ragionamento può operare continuamente, lavorare su contesti lunghi ed eseguire compiti in più fasi. Di conseguenza, il calcolo non è più l’unico aspetto da considerare. La connettività, la memoria, l’alimentazione, il raffreddamento e il movimento dei dati influenzano tutti l’efficienza con cui l’AI opera su larga scala. NVIDIA Rubin è stato progettato attorno a questa nuova realtà.

Dai server individuali alla AI Factory

Invece di ottimizzare singoli componenti in maniera isolata, NVIDIA Rubin utilizza quella che NVIDIA definisce “co-progettazione estrema”. La CPU Vera, la GPU Rubin, lo switch NVLink 6, il ConnectX-9 SuperNIC, il DPU BlueField-4 e lo switch Ethernet Spectrum-6 sono progettati per funzionare insieme come un’unica piattaforma.

A livello di rack, Vera Rubin NVL72 combina 72 GPU Rubin e 36 CPU Vera. L’approccio sposta efficacemente l’unità di calcolo dal singolo server al rack – e infine al data centre. L’obiettivo non è semplicemente un aumento delle prestazioni di picco, ma prestazioni e utilizzo sostenuti in carichi di lavoro AI esigenti e sempre attivi.

Far funzionare l’economia dell’AI su larga scala

Man mano che l’inferenza diventa un carico di lavoro continuo, il costo di produzione di ogni token assume un’importanza sempre maggiore. Secondo NVIDIA, Vera Rubin offre un costo di inferenza per token fino a 10 volte inferiore e può addestrare modelli selezionati di mixture-of-experts utilizzando quattro volte meno GPU rispetto a Blackwell*.

Integrando calcolo, reti e altre infrastrutture a livello di rack, Vera Rubin è progettato per mantenere un elevato utilizzo delle risorse, aiutando al contempo a soddisfare le esigenze di potenza, spazio, raffreddamento e operatività degli ambienti AI in espansione.

Questo cambia la conversazione sull’infrastruttura per i clienti. La pianificazione dell’AI deve considerare non solo quanta potenza di calcolo è disponibile, ma anche l’efficacia con cui l’infrastruttura può supportare carichi di lavoro continui man mano che la domanda cresce.

Una nuova opportunità per i partner

Per i partner, il passaggio alle AI Factory crea un’opportunità per conversazioni più ampie con i clienti che includono la progettazione dell’infrastruttura, la scalabilità e gli aspetti economici dell’AI.

Comprendere come tecnologie come NVIDIA Rubin si inseriscono in questo contesto può aiutare i partner a prepararsi per progetti AI di nuova generazione man mano che si sviluppano le esigenze dei clienti.

TD SYNNEX può supportare questo percorso attraverso valutazioni, orientamenti all’integrazione, finanziamenti e formazione, aiutando i partner a sviluppare le conoscenze e l’approccio commerciale necessari per affrontare le opportunità emergenti nell’infrastruttura AI.

Pronto per la prossima fase dell’infrastruttura AI?

Esplora il TD SYNNEX NVIDIA Hub per saperne di più su NVIDIA Vera Rubin e sulle tecnologie che stanno plasmando la prossima generazione di AI.

*Dati basati su proiezioni dei benchmark fornite dal produttore e pubblicate nell’annuncio ufficiale dell’architettura della piattaforma NVIDIA Rubin. Le variazioni effettive delle prestazioni dipendono dalle specifiche architetture dei modelli e dalle configurazioni del carico di lavoro.