NVIDIA liefert Rubin NVL72 aus? Warum die Energieeffizienz gestiegen ist

NVIDIA liefert Rubin NVL72 aus? Neue On-Silizium-Leistungsdaten zeigen, dass die Vera Rubin NVL72-Plattform im Vergleich zu GB300 NVL72 unter der getesteten AgentX-Konfiguration bis zu 30-mal höheren Durchsatz pro Megawatt und 35-mal niedrigere Token-Kosten für agentische KI-Workloads liefert und damit eine neue Hardware-Effizienz-Baseline für leistungsorientierte KI-Fabriken etablieren. Da autonome Software-Agenten von experimentellen Einzel-Turn-Prompts zu mehrstufigen Produktions-Pipelines übergehen, wächst der Rechenbedarf rasant. Von NVIDIA zitierte OpenRouter-Nutzungsdaten zeigen, dass eine einzelne agentische Anfrage etwa 15-mal so viele Token wie eine gewöhnliche Chat-Anfrage verbraucht, da Agenten wiederholt Datenbanken abfragen, externe Dokumente abrufen, Sub-Agenten starten und einen langkontextigen Speicher aufrechterhalten. Um diesen hochdichten Durchsatz innerhalb fester Rechenzentrum-Leistungsbudgets aufrechtzuerhalten, verlagern sich Serverarchitekturen hin zu extremer Hard- und Software-Kodesign.

Wichtige Branchenneuausrichtung & Nachrichtenanalyse: Vera Rubin NVL72 für agentische KI-Skalierung

Auf einen Blick

Am 24. August 2026 veröffentlichte On-Silizium-Leistungsdaten zeigen, dass Vera Rubin NVL72 bei agentischen Programmier-Workloads einen bis zu 30-mal höheren Durchsatz pro Megawatt liefert als GB300 NVL72. Die Ergebnisse wurden von NVIDIA unter Verwendung der SemiAnalysis AgentX-Workload gemessen und stehen derzeit noch zur Überprüfung durch SemiAnalysis aus.
Mehrstufige autonome Agenten verbrauchen etwa 15-mal mehr Token als Standard-Chatbot-Interaktionen, wodurch Stromverfügbarkeit, Durchsatz pro Megawatt und Token-Wirtschaftlichkeit zu zunehmend wichtigen Einschränkungen für die KI-Infrastruktur werden.
Die Plattform kombiniert disaggregiertes Serving, verteiltes KV-Caching, KV-bewusstes Routing, NVFP4-Präzision, Rack-Scale-Networking und ein breiteres Hard- und Software-Kodesign, was zu den von NVIDIA gemeldeten Token-Kostensenkungen von bis zum 35-Fachen im Vergleich zu GB300 NVL72 unter der getesteten AgentX-Konfiguration beiträgt.

Der Übergang von einfachen Chatbot-Schnittstellen zu autonomen agentischen Workloads treibt eine strukturelle Transformation in der Rechenzentrumstechnik voran. Standardmäßige Einzel-Turn-Interaktionen operieren typischerweise innerhalb prägnanter Ein- und Ausgabe-Grenzen zwischen 1.000 und 8.000 Token. Im Gegensatz dazu führen autonome Agenten iterative Begründungsschleifen aus, bei denen jeder Werkzeugaufruf, jede Datenbankabfrage und jede Zwischenausgabe in das Kontextfenster der nachfolgenden Schritte einfließt. Dieser sich anhäufende Kontext erzeugt unregelmäßige Rechenschübe, gefolgt von Phasen der Netzwerklatenz, was traditionelle Inferenzserver belastet, die für statische Prompt-Antwort-Workloads entwickelt wurden.

Um die Infrastrukturleistung unter diesen realistischen Bedingungen zu bewerten, bewegen sich Hardware-Benchmarks weg von Auswertungen mit fester Sequenzlänge hin zu dynamischen Sitzungs-Replays. Unter Verwendung der SemiAnalysis AgentX-Benchmark-Suite maß NVIDIA den anhaltenden Systemdurchsatz über replizierte Programmiertrajektorien im Produktionsstil von führenden Modellen, darunter DeepSeek V4 Pro, Kimi K3 und GLM-5.3. Die aufgezeichneten Sitzungen bewahren realistisches Kontextwachstum, Tool-Call-Intervalle und Sub-Agenten-Startmuster, um zu testen, wie effizient Hardware Rohstrom in nutzbare Ausgaben umwandelt, wie in der technischen Ankündigung von NVIDIA detailliert beschrieben wird. Die Ergebnisse zu Vera Rubin spiegeln diese frühen Messungen wider und warten derzeit auf die Überprüfung durch SemiAnalysis.

Technische Visualisierung von NVIDIA zur Veranschaulichung der Leistung und Inferenz-Effizienzmetriken agentischer KI

Der gemessene Effizienzsprung über die Vera Rubin-Plattform hinweg zeigt einen großen Wandel in der Bewertung beschleunigter Computing-Plattformen. In leistungsorientierten KI-Fabriken bestimmt der Durchsatz pro Megawatt die gesamte Betriebskapazität, während die Kosten pro Million Token die Bruttomargen steuern. Benchmark-Ergebnisse zeigen, dass der Blackwell GB300 NVL72 im Vergleich zu Hopper H200-Systemen einen bis zu 15-mal höheren Durchsatz pro Megawatt und 10-mal niedrigere Token-Kosten liefert. Die Vera Rubin-Architektur treibt diese Effizienzkurve noch weiter voran und erreicht bei interaktiven Serving-Zielen von 160 Token pro Sekunde und Benutzer bei DeepSeek V4 Pro-Workloads einen bis zu 30-mal höheren Durchsatz pro Megawatt als GB300, wie im Bericht im NVIDIA Developer Blog berichtet wird.

Benchmark-Diagramm zum Vergleich herkömmlicher Inferenz mit fester Sequenz mit komplexen agentischen Workload-Anforderungen

Architektonische Diskrepanz unter der Haube: Disaggregiertes Serving und KV-Cache-Routing

Die Leistungszuwächse der Rubin-Architektur rühren von der Bewältigung des grundlegenden physischen Missverhältnisses zwischen der Prefill- und Decode-Stufe der Inferenz großer Sprachmodelle her. Die Prefill-Phase verarbeitet den eingehenden Prompt und ist rechengebunden, was von hohem parallelem arithmetischen Durchsatz profitiert. Im Gegensatz dazu generiert die Decode-Phase Token sequenziell und ist typischerweise speicherbandbreitenempfindlicher, insbesondere bei kleineren interaktiven Batch-Größen, da die Tokenerzeugung wiederholt auf Modellgewichte und den KV-Zustand zugreift.

Um diese betriebliche Reibung zu eliminieren, implementieren moderne KI-Fabrikarchitekturen ein disaggregiertes Serving. Diese Technik trennt die Prefill- und Decode-Ausführung auf unabhängig skalierte Arbeiter-Pools (Worker Pools), wodurch jede Stufe unabhängig skaliert und die Generierungsraten im Server-Cluster dynamisch angepasst werden können.

Speicheroptimierung: Verteiltes Caching und NVLink-Skalierungsdomänen

In lang laufenden agentischen Sitzungen erzeugt die Neuberechnung zuvor verarbeiteter Token eine massive Rechenredundanz. Um die Effizienz zu wahren, stellen Serving-Frameworks ein verteiltes Key-Value-Caching (KV-Caching) über die Hochgeschwindigkeits-Interconnect-Domäne bereit, wodurch GPUs Kontext gemeinsam nutzen und wiederverwenden können, ohne redundante Prefill-Berechnungen durchzuführen.

Das folgende Diagramm veranschaulicht die architektonische Trennung zwischen disaggregierter Prefill-Verarbeitung und KV-bewusster Decode-Generierung:

[Eingehende mehrstufige Agentenanfrage (Kumulativer Kontext)]
                           │
                           ▼
    [ Disaggregierter Prefill Worker-Pool ] ──> Beschleunigte Kontextkodierung
                           │
                           ▼ (Kontextzustandsübertragung über Hochgeschwindigkeits-Fabric)
    [ KV-bewusster Routing-Dispatcher (Dynamo) ] ──> Gleicht den Cache Worker-Knoten ab
                           │
                           ▼
    [ Disaggregierter Decode Worker-Pool ]  ──> Latenzarme Tokenerzeugung

Zur Unterstützung dieser verteilten Speichertechniken nutzt das System Interconnect-Switching der sechsten Generation, das wesentlich höhere Paketraten und eine geringere Latenz als handelsübliche Netzwerke bietet. Die Serving-Schicht umfasst optimierte CUDA-Kernels, Laufzeitbibliotheken wie TensorRT-LLM und Koordinations-Frameworks wie NVIDIA Dynamo und leitet Anfragen direkt an Ausführungsknoten weiter, die bereits über relevanten gecachten Kontext verfügen. NVIDIA gibt an, dass seine DSX MaxLPS-Energiemanagementtechnologien bis zu 40 % mehr GPUs innerhalb desselben Megawatt-Budgets bereitstellen können, wodurch der Durchsatz im Versorgungsmaßstab weiter maximiert wird.

Durchsatzvergleichsdiagramm, das zeigt, dass Vera Rubin NVL72 einen höheren Durchsatz pro Megawatt als GB300 NVL72 liefert

Dieser Full-Stack-Ansatz demonstriert ein breiteres technisches Prinzip: Die Skalierung moderner KI-Workloads erfordert die Beseitigung redundanter Berechnungen und die Optimierung des Speichertransports über jede Ebene des Systems hinweg. In der verteilten Softwareentwicklung gelten Prinzipien der parallelen Effizienz über High-Throughput-Daten-Pipelines hinweg, bei denen Architekturen die Erfassung von der Zustandsabgleichung trennen, um Verarbeitungsengpässe zu vermeiden.

Diagramm, das zeigt, dass GB300 NVL72 eine verbesserte Token-Kosten-Effizienz gegenüber Hardware der vorherigen H200-Generation liefert

Entkoppelte Systeme & Vergleichende Analyse: Monolithisches Serving vs. kodesignierte KI-Fabriken

Da sich Architekturen mit hoher Parallelität in Richtung disaggregierter, serverseitiger Verarbeitung entwickeln, müssen Engineering-Teams bewerten, wie sich das Infrastrukturdesign auf die Stückkosten auswirkt. Die Bereitstellung produktionsreifer agentischer Pipelines erfordert Backend-Systeme, die den Durchsatz pro Megawatt maximieren und gleichzeitig die Kosten pro Million Token minimieren. Unternehmen müssen prüfen, ob traditionelle monolithische Serving-Instanzen agentische Workloads aufrechterhalten können oder ob dedizierte, kodesignierte Architekturen erforderlich sind.

Architektonische Bewertung: Traditionelles Serving vs. disaggregierte Plattformen

Die Bereitstellung monolithischer Serving-Instanzen, bei denen jede GPU sowohl Prefill- als auch Decode-Stufen verarbeitet, führt bei langkontextigen agentischen Durchläufen zu einer starken Unterauslastung der Ressourcen. Während monolithische Bereitstellungen eine einfache Ersteinrichtung bieten, leiden sie unter Rechenhunger während der Decode-Phasen und Speicherkapazitätsgrenzen bei Prefill-Schüben. Im Gegensatz dazu entkoppeln disaggregierte KI-Fabrikarchitekturen die Kontextkodierung dynamisch von der Tokenerzeugung und bewahren so eine hohe Auslastung sowohl in Rechen- als auch in Speicherdomänen.

Die folgende Tabelle umrissen wichtige architektonische Kompromisse über verschiedene Inferenz-Serving-Methodiken hinweg:

Architekturmodell	Kontextskalierungsstrategie	Prefill/Decode-Zuweisung	Durchsatz pro Megawatt	Token-Kosten-Wirtschaftlichkeit
Monolithisches Single-Node-Serving	Statische Speicherzuweisung	Fest gekoppelt	Baseline	Standardmäßige hohe Baseline
Gekoppelte geclusterte Inferenz	Gemeinsam genutzte Ressourcen-Pools	Homogene Worker-Zuweisung	Mäßig (workloadabhängig)	Standardmäßige Cluster-Rate
Disaggregierte kodesignierte KI-Fabrik	Verteiltes KV-Cache-Routing	Vollständig disaggregiert & unabhängig	Bis zu 30x vs. GB300 (Berichtet)	Bis zu 35x niedrigere Kosten vs. GB300

Dieser strukturelle Wandel stellt eine Form der Inferenz-Kostendeflation dar: Jedes feste Megawatt an Rechenzentrumskapazität kann materiell mehr nützliche agentische Arbeit erzeugen. Durch die Kombination von Hardwarebeschleunigung mit intelligentem Workload-Routing können Betreiber die interaktive Leistung über komplexe, langfristige Aufgaben hinweg aufrechterhalten.

Übersicht der Full-Stack-KI-Fabrikinfrastruktur mit Serverracks für Compute, Storage und Networking

Engineering-Checkliste & Verifizierungsspläne: Optimierung der Rack-Scale-Agenten-Telemetrie

Um Rechenzentrumsinfrastrukturen und Anwendungspipelines auf agentische Workloads mit hohem Durchsatz vorzubereiten, sollten technische Teams und Betriebsteams strukturierte Optimierungspraktiken etablieren.

Checkliste für Entwickler

Prefill von Decode-Workern entkoppeln: Trennen Sie die rechenintensive Kontextaufnahme von der speichergebundenen Tokenerzeugung in unabhängig skalierte Worker-Pools, um die Prozessorauslastung zu maximieren.
KV-Cache-bewusstes Routing implementieren: Konfigurieren Sie API-Gateways und Load Balancer so, dass sie eingehende Multi-Turn-Anfragen an Worker-Knoten weiterleiten, die den relevanten gecachten Kontext bereits speichern.
Quantisierung mit niedrigerer Präzision bewerten: Führen Sie Benchmarks für NVFP4- und Mixed-Precision-Ausführungspfade über Zielmodelle hinweg durch, um den Speicherbedarf zu reduzieren und gleichzeitig die Stabilität des Ausgabeschlussfolgerns zu verifizieren.

Checkliste für Betrieb & Wirtschaftlichkeit

Durchsatz pro Megawatt überwachen: Verfolgen Sie die anhaltenden Token pro Megawatt über Live-Workloads hinweg, anstatt sich ausschließlich auf isolierte Latenz-Benchmarks für einzelne Anfragen zu verlassen.
Token-Stückökonomie prüfen: Messen Sie die Gesamtkosten der Infrastruktur pro Million Token über mehrstufige Agententrajektorien hinweg, um nachhaltige Gewinnspannen aufrechtzuerhalten.
Time-to-First-Token (TTFT) profilieren: Überwachen Sie die anfängliche Antwortlatenz während der Langkontext-Prefill-Phasen, um sicherzustellen, dass Batching mit hohem Durchsatz die interaktive Benutzererfahrung nicht beeinträchtigt.

Die Übernahme dieser Betriebsmethoden versetzt Engineering-Teams in die Lage, reaktionsschnelle, langfristige Agentensysteme bereitzustellen und gleichzeitig eine strenge Governance der Infrastrukturkosten aufrechtzuerhalten.

Häufig gestellte Fragen (FAQ)

Warum verbrauchen agentische KI-Workloads 15-mal mehr Token als Standard-Chatbot-Abfragen?

Agentische Workloads erfordern mehrstufige Überlegungen, iterative Datenbankabfragen, Werkzeugaufrufe und die Koordination von Sub-Agenten. Da der angesammelte Kontext aus jedem Schritt zur Eingabe für nachfolgende Durchläufe wird, können Agentensitzungen auf Hunderttausende von Token anwachsen, was den Gesamttokenverbrauch im Vergleich zu Einzel-Turn-Chat-Interaktionen vervielfacht.

Wie verbessert das disaggregierte Serving den Durchsatz pro Megawatt in KI-Fabriken?

Das disaggregierte Serving trennt die rechenintensive Prefill-Stufe von der speicherbandbreitenintensiven Decode-Stufe auf spezialisierten GPU-Knoten. Durch die Optimierung jedes Hardware-Clusters für sein spezifisches Rechenprofil und das Abgleichen der Generierungsraten eliminiert die Architektur Leerläufe des Prozessors und maximiert die Energieeffizienz.

Worin besteht der Unterschied zwischen den Effizienzmetriken des Blackwell GB300 NVL72 und des Vera Rubin NVL72?

Während der Blackwell GB300 NVL72 bei agentischen Benchmarks einen bis zu 15-mal höheren Durchsatz pro Megawatt als Hopper-Architekturen liefert, erreicht der Vera Rubin NVL72 einen bis zu 30-mal höheren Durchsatz pro Megawatt und senkt die Token-Kosten im Vergleich zum GB300 um das bis zu 35-Fache, wodurch eine erweiterte Effizienzgrenze für große Mixture-of-Experts-Modelle bereitgestellt wird.

Wichtigste Erkenntnisse für Engineering-Teams

Die Hardware-Fortschritte, die auf der Vera Rubin NVL72-Plattform demonstriert wurden, unterstreichen einen wesentlichen Wandel in der Computing-Infrastruktur: Skalierbare KI-Betriebe erfordern ein Full-Stack-Kodesign über Silizium, Speicherarchitekturen und Software-Runtimes hinweg. Da mehrstufige autonome Agenten zur Standardschnittstelle für Unternehmenssoftware werden, werden traditionelle monolithische Serving-Modelle durch disaggregierte, speicherzentrierte Systeme ersetzt.

Für Infrastrukturarchitekten und Engineering-Führungskräfte erfordert die Bewältigung dieser Ära mit hohem Durchsatz die Annahme entkoppelter Systemprinzipien über Rechenzentrumspipelines hinweg. Durch die Implementierung von disaggregiertem Serving, verteiltem Kontext-Caching und intelligentem Workload-Routing können Unternehmen belastbare Rechenarchitekturen aufbauen, die in der Lage sind, agentische Intelligenz effizient innerhalb fester Versorgungsstrombudgets zu skalieren.