NVIDIA ने Rubin NVL72 लॉन्च किया? ऊर्जा दक्षता में भारी उछाल क्यों आया

NVIDIA ने Rubin NVL72 लॉन्च किया? नए ऑन-सिलिकॉन प्रदर्शन डेटा से पता चलता है कि Vera Rubin NVL72 प्लेटफॉर्म, परीक्षण किए गए AgentX कॉन्फ़िगरेशन के तहत GB300 NVL72 की तुलना में एजेंटिक AI वर्कलोड के लिए प्रति मेगावाट 30 गुना तक अधिक थ्रूपुट और 35 गुना कम टोकन लागत प्रदान करता है, जो बिजली-बाधित AI फैक्ट्रियों के लिए एक नया हार्डवेयर दक्षता बेसलाइन स्थापित करता है। जैसे-जैसे स्वायत्त सॉफ्टवेयर एजेंट प्रयोगात्मक सिंगल-टर्न प्रॉम्प्ट से मल्टी-स्टेप प्रोडक्शन पाइपलाइनों में轉換 हो रहे हैं, कम्प्यूटेशनल मांग तेजी से बढ़ रही है। NVIDIA द्वारा उद्धृत OpenRouter उपयोग डेटा इंगित करता है कि एक एकल एजेंटिक अनुरोध सामान्य चैट अनुरोध की तुलना में लगभग 15 गुना अधिक टोकन की खपत करता है क्योंकि एजेंट बार-बार डेटाबेस से पूछताछ करते हैं, बाहरी दस्तावेजों को पुनः प्राप्त करते हैं, सब-एजेंट बनाते हैं, और लॉन्ग-कॉन्टेक्स्ट मेमोरी बनाए रखते हैं। निश्चित डेटा सेंटर पावर एनवलप के भीतर इस हाई-डेंसिटी थ्रूपुट को बनाए रखने के लिए, सर्वर आर्किटेक्चर अत्यधिक हार्डवेयर-सॉफ्टवेयर सह-डिफाइन की ओर स्थानांतरित हो रहे हैं।

कोर इंडस्ट्री रीअलाइनमेंट और न्यूज़ ब्रेकडाउन: एजेंटिक AI स्केल के लिए Vera Rubin NVL72

एक नज़र में

• 24 अगस्त, 2026 को जारी ऑन-सिलिकॉन प्रदर्शन डेटा से पता चलता है कि Vera Rubin NVL72 एजेंटिक कोडिंग वर्कलोड पर GB300 NVL72 की तुलना में प्रति मेगावाट 30 गुना तक अधिक थ्रूपुट प्रदान करता है, जिसे NVIDIA द्वारा SemiAnalysis AgentX वर्कलोड का उपयोग करके मापा गया है और वर्तमान में यह SemiAnalysis समीक्षा के अधीन है।
• मल्टी-स्टेप स्वायत्त एजेंट मानक चैटबॉट इंटरैक्शन की तुलना में लगभग 15 गुना अधिक टोकन की खपत करते हैं, जिससे बिजली की उपलब्धता, प्रति मेगावाट थ्रूपुट और टोकन अर्थशास्त्र AI बुनियादी ढाँचे के लिए तेजी से महत्वपूर्ण बाधाएँ बन जाते हैं।
• यह प्लेटफॉर्म डिस्एग्रीगेटर सर्विंग, वितरित KV कैशिंग, KV-अवेयर रूटिंग, NVFP4 सटीक, रैक-स्केल नेटवर्किंग, और व्यापक हार्डवेयर-सॉफ्टवेयर सह-डिफाइन को जोड़ता है, जो परीक्षण किए गए AgentX कॉन्फ़िगरेशन के तहत GB300 NVL72 की तुलना में 35x तक टोकन लागत में NVIDIA की रिपोर्ट की गई कमी में योगदान देता है।

बुनियादी चैटबॉट इंटरफेस से स्वायत्त एजेंटिक वर्कफ़्लो में परिवर्तन डेटा सेंटर इंजीनियरिंग में एक संरचनात्मक परिवर्तन ला रहा है। मानक सिंगल-टर्न इंटरैक्शन आमतौर पर 1,000 और 8,000 टोकन के बीच संक्षिप्त इनपुट-आउटपुट सीमाओं के भीतर काम करते हैं। इसके विपरीत, स्वायत्त एजेंट पुनरावृत्ति तर्क लूप निष्पादित करते हैं जहाँ प्रत्येक टूल आह्वान, डेटाबेस पुनर्प्राप्ति, और मध्यवर्ती आउटपुट बाद के चरणों की कॉन्टेक्स्ट विंडो में जमा होता है। यह संचयी कॉन्टेक्स्ट गणना के अनियमित विस्फोटों को नेटवर्क विलंबता की अवधि के बाद बनाता है, जो स्थिर प्रॉम्प्ट-और-प्रतिसाद वर्कलोड के लिए डिज़ाइन किए गए पारंपरिक इन्फेरेंस सर्वर पर दबाव डालता है।

इन यथार्थवादी स्थितियों के तहत बुनियादी ढाँचे के प्रदर्शन का मूल्यांकन करने के लिए, हार्डवेयर बेंचमार्क निश्चित-लंबाई अनुक्रम मूल्यांकन से दूर गतिशील सत्र रीप्ले की ओर बढ़ रहे हैं। SemiAnalysis AgentX बेंचमार्क सूट का उपयोग करते हुए, NVIDIA ने DeepSeek V4 Pro, Kimi K3, और GLM-5.3 सहित अग्रणी मॉडलों से रीप्ले किए गए प्रोडक्शन-शैली कोडिंग प्रक्षेपवक्रों में निरंतर सिस्टम थ्रूपुट को मापा। NVIDIA कॉर्पोरेट तकनीकी घोषणा में विस्तृत रूप से, रिकॉर्ड किए गए सत्र यथार्थवादी कॉन्टेक्स्ट वृद्धि, टूल-कॉल अंतराल, और सब-एजेंट स्पॉनिंग पैटर्न को यह परीक्षण करने के लिए संरक्षित करते हैं कि हार्डवेयर कितनी कुशलता से कच्चे पावर को उपयोगी आउटपुट में परिवर्तित करता है। Vera Rubin परिणाम इन शुरुआती मापों को दर्शाते हैं और वर्तमान में SemiAnalysis समीक्षा के अधीन हैं।

Vera Rubin प्लेटफॉर्म पर मापी गई दक्षता छलांग त्वरित कंप्यूटिंग प्लेटफॉर्म का मूल्यांकन करने के तरीके में एक बड़े बदलाव को प्रदर्शित करती है। बिजली-बाधित AI फैक्ट्रियों में, प्रति मेगावाट थ्रूपुट कुल ऑपरेटिंग क्षमता निर्धारित करता है, जबकि प्रति मिलियन टोकन लागत सकल मार्जिन को नियंत्रित करती है। बेंचमार्क परिणाम बताते हैं कि Blackwell GB300 NVL72, Hopper H200 प्रणालियों की तुलना में प्रति मेगावाट 15 गुना तक अधिक थ्रूपुट और 10 गुना कम टोकन लागत प्रदान करता है। NVIDIA डेवलपर ब्लॉग रिपोर्ट में बताए गए अनुसार, Vera Rubin आर्किटेक्चर इस दक्षता वक्र को और आगे बढ़ाता है, DeepSeek V4 Pro वर्कलोड पर प्रति उपयोगकर्ता 160 टोकन प्रति सेकंड के इंटरैक्टिव सर्विंग लक्ष्यों पर GB300 की तुलना में प्रति मेगावाट 30 गुना तक अधिक थ्रूपुट प्राप्त करता है।

अंडर-द-हुड आर्किटेक्चरल डिसकनेक्शन: डिस्एग्रीगेटेड सर्विंग और KV-कैश रूटिंग

Rubin आर्किटेक्चर के प्रदर्शन लाभ बड़े भाषा मॉडल इन्फेरेंस के प्रीफिल और डिकोड चरणों के बीच बुनियादी भौतिक बेमेल को संबोधित करने से उपजे हैं। प्रीफिल चरण आने वाले प्रॉम्प्ट को संसाधित करता है और कंप्यूट-बाउंड होता है, जिससे उच्च समानांतर अंकगणितीय थ्रूपुट का लाभ मिलता है। इसके विपरीत, डिकोड चरण क्रमिक रूप से टोकन उत्पन्न करता है और आमतौर पर छोटे इंटरैक्टिव बैच आकारों पर अधिक मेमोरी-बैंडविड्थ-संवेदनशील होता है, क्योंकि टोकन जनरेशन बार-बार मॉडल वजन और KV स्थिति तक पहुँचता है।

इस परिचालन घर्षण को खत्म करने के लिए, आधुनिक AI फैक्ट्री आर्किटेक्चर डिस्एग्रीगेटेड सर्विंग को लागू करते हैं। यह तकनीक स्वतंत्र रूप से स्केल किए गए वर्कर पूल में प्रीफिल और डिकोड निष्पादन को अलग करती है, जिससे प्रत्येक चरण को स्वतंत्र रूप से स्केल करने और सर्वर क्लस्टर में गतिशील रूप से जनरेशन दरों से मेल खाने की अनुमति मिलती है।

मेमोरी ऑप्टिमाइज़ेशन: वितरित कैशिंग और NVLink स्केल-अप डोमेन

लंबे समय तक चलने वाले एजेंटिक सत्रों में, पहले से संसाधित टोकन की पुनर्गणना से भारी कम्प्यूटेशनल अतिरेक पैदा होता है। दक्षता बनाए रखने के लिए, सर्विंग फ्रेमवर्क हाई-स्पीड इंटरकनेक्ट डोमेन में वितरित की-वैल्यू (KV) कैशिंग तैनात करते हैं, जिससे GPU को अनावश्यक प्रीफिल गणनाओं के बिना कॉन्टेक्स्ट साझा करने और पुन: उपयोग करने की अनुमति मिलती है।

नीचे दिया गया आरेख डिस्एग्रीगेटेड प्रीफिल प्रोसेसिंग और KV-अवेयर डिकोड जनरेशन के बीच वास्तुकला अलगाव को दर्शाता है:

[आने वाला मल्टी-स्टेप एजेंट अनुरोध (संचयी कॉन्टेक्स्ट)]
                           │
                           ▼
    [ डिस्एग्रीगेटेड प्रीफिल वर्कर पूल ] ──> त्वरित कॉन्टेक्स्ट एन्कोडिंग
                           │
                           ▼ (हाई-बैंडविड्थ फैब्रिक के माध्यम से कॉन्टेक्स्ट स्टेट ट्रांसफर)
    [ KV-अवेयर रूटिंग डिस्पैचर (डाइनेमो) ] ──> कैશ્ड वर्कर नोड से मिलान करता है
                           │
                           ▼
    [ डिस्एग्रीगेटेड डिकोड वर्कर पूल ]  ──> कम विलंबता टोकन जनरेशन

इन वितरित मेमोरी तकनीकों का समर्थन करने के लिए, सिस्टम छठी पीढ़ी के इंटरकनेक्ट स्विचिंग का उपयोग करता है जो ऑफ-द-शेल्फ नेटवर्किंग की तुलना में काफी उच्च पैकेट दर और कम विलंबता प्रदान करता है। अनुकूलित CUDA कर्नेल, TensorRT-LLM जैसी रनटाइम लाइब्रेरी, और NVIDIA डाइनेमो जैसे समन्वय फ्रेमवर्क में फैला हुआ, सर्विंग लेयर अनुरोधों को सीधे निष्पादन नोड्स पर रूट करता है जिनके पास पहले से ही प्रासंगिक कैश्ड कॉन्टेक्स्ट है। NVIDIA का कहना है कि इसकी DSX MaxLPS पावर-मैनेजमेंट तकनीकें समान मेगावाट बजट के भीतर 40% तक अधिक GPU प्रदान कर सकती हैं, जो उपयोगिता पैमाने पर थ्रूपुट को और अधिक अधिकतम करती हैं।

यह फुल-स्टैक दृष्टिकोण एक व्यापक तकनीकी सिद्धांत को प्रदर्शित करता है: आधुनिक AI वर्कलोड को स्केल करने के लिए सिस्टम की हर परत पर अतिरेक गणना को समाप्त करने और मेमोरी ट्रांसपोर्ट को अनुकूलित करने की आवश्यकता होती है। वितरित सॉफ्टवेयर इंजीनियरिंग में, समानांतर दक्षता के सिद्धांत उच्च-थ्रूपुट डेटा पाइपलाइनों में लागू होते हैं, जहाँ आर्किटेक्चर प्रोसेसिंग बॉटलनेक को रोकने के लिए स्टेट रिकंसिलेशन से इनजेशन को अलग करते हैं।

डिकपल्ड सिस्टम और तुलना विश्लेषण: मोनोलिथिक सर्विंग बनाम सह-डिफाइन AI फैक्ट्रियां

जैसे-जैसे हाई-कॉन्करेंसी आर्किटेक्चर डिस्एग्रीगेटेड, सर्वर-साइड प्रोसेसिंग की ओर विकसित होते हैं, इंजीनियरिंग टीमों को यह मूल्यांकन करना चाहिए कि बुनियादी ढांचा डिजाइन यूनिट अर्थशास्त्र को कैसे प्रभावित करता है। प्रोडक्शन-ग्रेड एजेंटिक पाइपलाइनों को तैनात करने के लिए ऐसे बैकएंड सिस्टम की आवश्यकता होती है जो प्रति मिलियन टोकन लागत को कम करते हुए प्रति मेगावाट थ्रूपुट को अधिकतम करते हैं। संगठनों को यह मूल्यांकन करना चाहिए कि क्या पारंपरिक मोनोलिथिक सर्विंग इंस्टेंस एजेंटिक वर्कलोड को बनाए रख सकते हैं या क्या समर्पित सह-डिफाइन आर्किटेक्चर की आवश्यकता है।

आर्किटेक्चरल मूल्यांकन: पारंपरिक सर्विंग बनाम डिस्एग्रीगेटेड प्लेटफॉर्म

मोनोलिथिक सर्विंग इंस्टेंस को तैनात करना जहाँ प्रत्येक GPU प्रीफिल और डिकोड दोनों चरणों को संभालता है, लंबे-कॉन्टेक्स्ट एजेंटिक टर्न के दौरान गंभीर संसाधन कम उपयोग की ओर जाता है। जबकि मोनोलिथिक तैनाती सरल प्रारंभिक सेटअप प्रदान करती है, वे डिकोड चरणों के दौरान कंप्यूट भुखमरी और प्रीफिल बर्स्ट के दौरान मेमोरी क्षमता सीमाओं से पीड़ित होती हैं। इसके विपरीत, डिस्एग्रीगेटेड AI फैक्ट्री आर्किटेक्चर गतिशील रूप से टोकन जनरेशन से कॉन्टेक्स्ट एन्कोडिंग को अलग करते हैं, कंप्यूट और मेमोरी दोनों डोमेन में उच्च उपयोग बनाए रखते हैं।

नीचे दी गई तालिका विभिन्न इन्फेरेंस सर्विंग पद्धतियों में प्रमुख आर्किटेक्चरल ट्रेड-ऑफ को रेखांकित करती है:

यह संरचनात्मक बदलाव इन्फेरेंस लागत अपस्फीति के एक रूप का प्रतिनिधित्व करता है: डेटा सेंटर क्षमता का प्रत्येक निश्चित मेगावाट भौतिक रूप से अधिक उपयोगी एजेंटिक कार्य का उत्पादन कर सकता है। हार्डवेयर त्वरण को बुद्धिमान वर्कलोड रूटिंग के साथ जोड़कर, ऑपरेटर जटिल, लंबी क्षितिज वाले कार्यों में इंटरैक्टिव प्रदर्शन को बनाए रख सकते हैं।

इंजीनियरिंग चेकलिस्ट और सत्यापन कार्यक्रम: रैक-स्केल एजेंटिक टेलीमेट्री को अनुकूलित करना

डेटा सेंटर के बुनियादी ढांचे और एप्लिकेशन पाइपलाइनों को उच्च-थ्रूपुट एजेंटिक वर्कलोड के लिए तैयार करने के लिए, तकनीकी और संचालन टीमों को संरचित अनुकूलन प्रथाओं को स्थापित करना चाहिए।

डेवलपर कार्यान्वयन चेकलिस्ट

• प्रीफिल को डिकोड वर्कर से अलग करें: प्रोसेसर उपयोग को अधिकतम करने के लिए स्वतंत्र रूप से स्केल किए गए वर्कर पूल में कंप्यूट-भारी कॉन्टेक्स्ट इंजेशन को मेमोरी-बाउंड टोकन जनरेशन से अलग करें।
• KV-कैश-अवेयर रूटिंग लागू करें: आने वाले मल्टी-टर्न अनुरोधों को उन वर्कर नोड्स पर रूट करने के लिए API गेटवे और लोड बैलेंसर को कॉन्फ़िगर करें जो पहले से प्रासंगिक कैश्ड कॉन्टेक्स्ट को संग्रहीत करते हैं।
• लोअर-प्रिसिजन क्वांटाइजेशन का मूल्यांकन करें: आउटपुट तर्क स्थिरता को सत्यापित करते हुए मेमोरी पदचिह्न को कम करने के लिए लक्षित मॉडल में NVFP4 और मिक्स्ड-प्रिसिजन निष्पादन पथों का बेंचमार्क करें।

ऑपरेशन और इकोनॉमिक्स चेकलिस्ट

• प्रति मेगावाट थ्रूपुट की निगरानी करें: अलग-थलग सिंगल-अनुरोध विलंबता बेंचमार्क पर विशेष रूप से भरोसा करने के बजाय लाइव वर्कलोड में निरंतर टोकन प्रति मेगावाट को ट्रैक करें।
• टोकन यूनिट अर्थशास्त्र का ऑडिट करें: टिकाऊ लाभ मार्जिन बनाए रखने के लिए मल्टी-स्टेप एजेंट प्रक्षेपवक्रों में प्रति मिलियन टोकन ऑल-इन बुनियादी ढांचा लागत को मापें।
• टाइम-टू-फर्स्ट-टोकन (TTFT) का प्रोफाइल करें: यह सुनिश्चित करने के लिए लंबे-कॉन्टेक्स्ट प्रीफिल चरणों के दौरान प्रारंभिक प्रतिक्रिया विलंबता की निगरानी करें कि उच्च-थ्रूपुट बैचिंग इंटरैक्टिव उपयोगकर्ता अनुभव से समझौता नहीं करती है।

इन परिचालन पद्धतियों को अपनाना इंजीनियरिंग टीमों को सख्त बुनियादी ढांचा लागत शासन बनाए रखते हुए उत्तरदायी, लंबे-क्षितिज वाले एजेंटिक सिस्टम को तैनात करने में सक्षम बनाता है।

Vera Rubin NVL72 प्लेटफॉर्म पर प्रदर्शित हार्डवेयर प्रगति कंप्यूटिंग बुनियादी ढांचे में एक आवश्यक बदलाव को उजागर करती है: स्केलेबल AI संचालन के लिए सिलिकॉन, मेमोरी आर्किटेक्चर और सॉफ्टवेयर रनटाइम में फुल-स्टैक सह-डिफाइन की आवश्यकता होती है। जैसे-जैसे मल्टी-स्टेप स्वायत्त एजेंट उद्यम सॉफ्टवेयर के लिए मानक इंटरफेस बन जाते हैं, पारंपरिक मोनोलिथिक सर्विंग मॉडल को डिस्एग्रीगेटेड, मेमोरी-सेंट्रिक सिस्टम द्वारा प्रतिस्थापित किया जा रहा है।

बुनियादी ढांचा आर्किटेक्ट और इंजीनियरिंग नेताओं के लिए, इस हाई-थ्रूपुट युग को नेविगेट करने के लिए डेटा सेंटर पाइपलाइनों में डिकपल्ड सिस्टम सिद्धांतों को अपनाने की आवश्यकता है। डिस्एग्रीगेटेड सर्विंग, वितरित कॉन्टेक्स्ट कैशिंग और बुद्धिमान वर्कलोड रूटिंग को लागू करके, संगठन निश्चित उपयोगिता पावर बजट के भीतर एजेंटिक इंटेलिजेंस को कुशलता से स्केल करने में सक्षम लचीले कंप्यूटिंग आर्किटेक्चर का निर्माण कर सकते हैं।