NVIDIA เปิดตัว Rubin NVL72? เจาะลึกเหตุใดประสิทธิภาพการใช้พลังงานจึงก้าวกระโดด

NVIDIA เปิดตัว Rubin NVL72? ข้อมูลประสิทธิภาพบนซิลิคอนชุดใหม่เผยว่าแพลตฟอร์ม Vera Rubin NVL72 มอบปริมาณงานต่อเมกะวัตต์สูงขึ้นสูงสุด 30 เท่า และลดต้นทุนโทเค็นลงสูงสุด 35 เท่าสำหรับเวิร์กโหลด AI แบบเอเจนต์ เมื่อเทียบกับ GB300 NVL72 ภายใต้การกำหนดค่าการทดสอบ AgentX ซึ่งสร้างเกณฑ์มาตรฐานประสิทธิภาพฮาร์ดแวร์ใหม่สำหรับศูนย์ข้อมูล AI ที่มีข้อจำกัดด้านพลังงาน ในขณะที่ซอฟต์แวร์เอเจนต์อัตโนมัติเปลี่ยนผ่านจากการทดลองพรอมต์แบบเทิร์นเดียวไปสู่พบบلاตไลน์การผลิตแบบหลายขั้นตอน ความต้องการด้านการประมวลผลจึงขยายตัวอย่างรวดเร็ว ข้อมูลการใช้งาน OpenRouter ที่ NVIDIA อ้างถึงระบุว่าคำขอแบบเอเจนต์เดี่ยวใช้โทเค็นมากกว่าคำขอแชททั่วไปประมาณ 15 เท่า เนื่องจากเอเจนต์ต้องคอยค้นหาฐานข้อมูล เรียกดูเอกสารภายนอก สร้างซับเอเจนต์ และรักษาหน่วยความจำบริบทระยะยาวซ้ำๆ เพื่อรักษาปริมาณงานความหนาแน่นสูงนี้ให้อยู่ในขอบเขตกำลังไฟฟ้าของศูนย์ข้อมูลที่จำกัด สถาปัตยกรรมเซิร์ฟเวอร์จึงกำลังเปลี่ยนไปสู่การออกแบบร่วมกันระหว่างฮาร์ดแวร์และซอฟต์แวร์ขั้นสุด

การปรับโครงสร้างอุตสาหกรรมครั้งสำคัญและสรุปข่าว: Vera Rubin NVL72 สำหรับสเกล AI แบบเอเจนต์

สรุปสาระสำคัญ

• ข้อมูลประสิทธิภาพบนซิลิคอนที่เผยแพร่เมื่อวันที่ 24 สิงหาคม 2026 แสดงให้เห็นว่า Vera Rubin NVL72 มอบปริมาณงานต่อเมกะวัตต์สูงขึ้นสูงสุด 30 เท่าเมื่อเทียบกับ GB300 NVL72 ในเวิร์กโหลดการเขียนโค้ดแบบเอเจนต์ โดยผลลัพธ์ดังกล่าววัดโดย NVIDIA ผ่านเวิร์กโหลด SemiAnalysis AgentX และปัจจุบันอยู่ระหว่างรอการตรวจสอบจาก SemiAnalysis
• เอเจนต์อัตโนมัติแบบหลายขั้นตอนใช้โทเค็นมากกว่าการโต้ตอบกับแชทบอทมาตรฐานประมาณ 15 เท่า ทำให้ความพร้อมของพลังงาน ปริมาณงานต่อเมกะวัตต์ และเศรษฐศาสตร์โทเค็นกลายเป็นข้อจำกัดที่มีความสำคัญมากขึ้นเรื่อยๆ สำหรับโครงสร้างพื้นฐาน AI
• แพลตฟอร์มนี้ผสานรวมการให้บริการแบบแยกส่วน การแคช KV แบบกระจาย การกำหนดเส้นทางที่รับรู้ KV ความแม่นยำ NVFP4 ระบบเครือข่ายระดับแร็ค และการออกแบบฮาร์ดแวร์และซอฟต์แวร์ร่วมกันที่กว้างขึ้น ซึ่งมีส่วนช่วยให้ NVIDIA รายงานการลดต้นทุนโทเค็นได้สูงสุด 35 เท่าเมื่อเทียบกับ GB300 NVL72 ภายใต้การกำหนดค่า AgentX ที่ทดสอบ

การเปลี่ยนผ่านจากอินเทอร์เฟซแชทบอทพื้นฐานไปสู่เวิร์กโหลดเอเจนต์อัตโนมัติกำลังขับเคลื่อนการเปลี่ยนแปลงเชิงโครงสร้างในวิศวกรรมศูนย์ข้อมูล การโต้ตอบแบบเทิร์นเดี่ยวมาตรฐานมักทำงานภายในขอบเขตอินพุต-เอาต์พุตที่กระชับระหว่าง 1,000 ถึง 8,000 โทเค็น ในทางตรงกันข้าม เอเจนต์อัตโนมัติจะดำเนินการวนลูปการให้เหตุผลแบบวนซ้ำ ซึ่งการเรียกใช้เครื่องมือ การดึงข้อมูลจากฐานข้อมูล และเอาต์พุตขั้นกลางแต่ละรายการจะสะสมอยู่ในหน้าต่างบริบทของขั้นตอนถัดไป บริบทที่สะสมนี้สร้างการพุ่งขึ้นของการประมวลผลที่ไม่สม่ำเสมอตามด้วยช่วงเวลาแห่งความหน latency ของเครือข่าย ซึ่งสร้างภาระให้กับเซิร์ฟเวอร์อนุมานแบบดั้งเดิมที่ออกแบบมาสำหรับเวิร์กโหลดพรอมต์และการตอบกลับแบบคงที่

เพื่อประเมินประสิทธิภาพของโครงสร้างพื้นฐานภายใต้เงื่อนไขที่เป็นจริงเหล่านี้ เกณฑ์มาตรฐานฮาร์ดแวร์จึงเปลี่ยนจากการประเมินลำดับความยาวคงไปเป็นการเล่นซ้ำของเซสชันแบบไดนามิก โดยใช้ ชุดเกณฑ์มาตรฐาน SemiAnalysis AgentX ทาง NVIDIA ได้วัดปริมาณงานของระบบอย่างต่อเนื่องทั่วทั้งเส้นทางการเขียนโค้ดสไตล์การผลิตที่เล่นซ้ำจากโมเดลชั้นนำ ซึ่งรวมถึง DeepSeek V4 Pro, Kimi K3 และ GLM-5.3 เซสชันที่บันทึกไว้จะรักษาการเติบโตของบริบทที่สมจริง ช่วงเวลาการเรียกใช้เครื่องมือ และรูปแบบการสร้างซับเอเจนต์ เพื่อทดสอบว่าฮาร์ดแวร์แปลงพลังงานดิบเป็นเอาต์พุตที่ใช้งานได้มีประสิทธิภาพเพียงใด ดังรายละเอียดใน ประกาศทางเทคนิคระดับองค์กรของ NVIDIA ผลลัพธ์ของ Vera Rubin สะท้อนถึงการวัดเบื้องต้นเหล่านี้และปัจจุบันอยู่ระหว่างรอการตรวจสอบจาก SemiAnalysis

ก้าวกระโดดด้านประสิทธิภาพที่วัดได้ทั่วทั้งแพลตฟอร์ม Vera Rubin แสดงให้เห็นถึงการเปลี่ยนแปลงครั้งใหญ่ในวิธีประเมินแพลตฟอร์มการประมวลผลแบบเร่งความเร็ว ในศูนย์ข้อมูล AI ที่มีข้อจำกัดด้านพลังงาน ปริมาณงานต่อเมกะวัตต์จะเป็นตัวกำหนดความสามารถในการดำเนินงานทั้งหมด ในขณะที่ต้นทุนต่อล้านโทเค็นจะควบคุมอัตรากำไรขั้นต้น ผลลัพธ์เกณฑ์มาตรฐานบ่งชี้ว่า Blackwell GB300 NVL72 มอบปริมาณงานต่อเมกะวัตต์สูงขึ้นสูงสุด 15 เท่า และลดต้นทุนโทเค็นลง 10 เท่าเมื่อเทียบกับระบบ Hopper H200 สถาปัตยกรรม Vera Rubin ขยายเส้นโค้งประสิทธิภาพนี้ออกไปอีก โดยบรรลุปริมาณงานต่อเมกะวัตต์สูงขึ้นสูงสุด 30 เท่าเทียบกับ GB300 ที่เป้าหมายการให้บริการแบบโต้ตอบที่ 160 โทเค็นต่อวินาทีต่อผู้ใช้บนเวิร์กโหลด DeepSeek V4 Pro ตามที่รายงานไว้ใน รายงานบล็อกนักพัฒนาของ NVIDIA

ความไม่สอดคล้องกันของสถาปัตยกรรมเบื้องหลัง: การให้บริการแบบแยกส่วนและการกำหนดเส้นทาง KV-Cache

การเพิ่มขึ้นของประสิทธิภาพของสถาปัตยกรรม Rubin มาจากจัดการกับความไม่ตรงกันทางกายภาพพื้นฐานระหว่างขั้นตอนการเตรียมล่วงหน้า (prefill) และการถอดรหัส (decode) ของการอนุมานโมเดลภาษาขนาดใหญ่ ระยะการเตรียมล่วงหน้าจะประมวลผลพรอมต์ที่เข้ามาและถูกจำกัดด้วยการประมวลผล ซึ่งได้รับประโยชน์จากปริมาณงานทางคณิตศาสตร์แบบขนานที่สูง ในทางตรงกันข้าม ระยะการถอดรหัสจะสร้างโทเค็นตามลำดับและมักจะไวต่อแบนด์วิดท์หน่วยความจำมากกว่า โดยเฉพาะอย่างยิ่งในขนาดแบตช์แบบโต้ตอบที่เล็กกว่า เนื่องจากกระบวนการสร้างโทเค็นจะเข้าถึงน้ำหนักโมเดลและสถานะ KV ซ้ำๆ

เพื่อกำจัดความเสียดทานในการดำเนินงานนี้ สถาปัตยกรรมศูนย์ข้อมูล AI สมัยใหม่จึงใช้การให้บริการแบบแยกส่วน เทคนิคนี้แยกการดำเนินการเตรียมล่วงหน้าและการถอดรหัสออกจากกลุ่มพูลผู้ปฏิบัติงานที่ปรับขนาดได้อย่างอิสระ ช่วยให้แต่ละขั้นตอนสามารถปรับขนาดได้อย่างอิสระและจับคู่อัตราการสร้างแบบไดนามิกทั่วทั้งคลัสเตอร์เซิร์ฟเวอร์

การเพิ่มประสิทธิภาพหน่วยความจำ: การแคชแบบกระจายและโดเมนการขยายสเกล NVLink

ในเซสชันเอเจนต์ที่ทำงานต่อเนื่องยาวนาน การคำนวณซ้ำสำหรับโทเค็นที่ประมวลผลไปแล้วจะสร้างความซ้ำซ้อนในการประมวลผลจำนวนมาก เพื่อรักษาประสิทธิภาพ เฟรมเวิร์กการให้บริการจึงปรับใช้แคช key-value (KV) แบบกระจายทั่วทั้งโดเมนการเชื่อมต่อความเร็วสูง ช่วยให้ GPU สามารถแชร์และนำบริบทกลับมาใช้ใหม่ได้โดยไม่ต้องคำนวณการเตรียมล่วงหน้าซ้ำซ้อน

แผนผังด้านล่างแสดงการแยกสถาปัตยกรรมระหว่างการประมวลผลการเตรียมล่วงหน้าแบบแยกส่วนและการสร้างการถอดรหัสที่รับรู้ KV:

[คำขอเอเจนต์หลายขั้นตอนที่เข้ามา (บริบทสะสม)]
                           │
                           ▼
    [ กลุ่มผู้ปฏิบัติงานเตรียมล่วงหน้าแบบแยกส่วน ] ──> การเข้ารหัสบริบทแบบเร่งความเร็ว
                           │
                           ▼ (การถ่ายโอนสถานะบริบทผ่านแฟบริคแบนด์วิดท์สูง)
    [ ตัว调度การกำหนดเส้นทางที่รับรู้ KV (Dynamo) ] ──> จับคู่กับโหนดผู้ปฏิบัติงานที่แคชไว้
                           │
                           ▼
    [ กลุ่มผู้ปฏิบัติงานถอดรหัสแบบแยกส่วน ]  ──> การสร้างโทเค็นความหน่วงต่ำ

เพื่อรองรับเทคนิคหน่วยความจำแบบกระจายเหล่านี้ ระบบจึงใช้การสลับการเชื่อมต่อรุ่นที่ 6 ซึ่งให้อัตราแพ็กเก็ตที่สูงกว่าและมีความหน่วงต่ำกว่าเครือข่ายสำเร็จรูปอย่างมาก ครอบคลุมเคอร์เนล CUDA ที่ปรับให้เหมาะสม ไลบรารีรันไทม์อย่าง TensorRT-LLM และเฟรมเวิร์กการประสานงานอย่าง NVIDIA Dynamo เลเยอร์การให้บริการจะกำหนดเส้นทางคำขอไปยังโหนดการดำเนินการที่มีบริบทแคชที่เกี่ยวข้องอยู่แล้วโดยตรง NVIDIA ระบุว่าเทคโนโลยีการจัดการพลังงาน DSX MaxLPS สามารถจัดสรร GPU เพิ่มเติมได้สูงสุด 40% ภายในงบประมาณเมกะวัตต์เดียวกัน ช่วยเพิ่มปริมาณงานสูงสุดในระดับสาธารณูปโภคต่อไป

แนวทางแบบเต็มสแต็คนี้แสดงให้เห็นหลักการทางเทคนิคที่กว้างขึ้น: การปรับขนาดเวิร์กโหลด AI สมัยใหม่จำเป็นต้องกำจัดความซ้ำซ้อนในการประมวลผลและเพิ่มประสิทธิภาพการขนส่งหน่วยความจำในทุกเลเยอร์ของระบบ ในวิศวกรรมซอฟต์แวร์แบบกระจาย หลักการประสิทธิภาพแบบขนานจะมีผลบังคับใช้ทั่วทั้งไปป์ไลน์ข้อมูลที่มีปริมาณงานสูง ซึ่งสถาปัตยกรรมการรับเข้าข้อมูลจะแยกออกจากกันจากการปรับปรุงสถานะเพื่อป้องกันคอขวดในการประมวลผล

ระบบที่แยกส่วนและการวิเคราะห์เปรียบเทียบ: การให้บริการแบบเสาหินเทียบกับศูนย์ข้อมูล AI ที่ออกแบบร่วมกัน

ในขณะที่สถาปัตยกรรมการทำงานพร้อมกันสูงพัฒนาไปสู่การประมวลผลแบบแยกส่วนฝั่งเซิร์ฟเวอร์ ทีมวิศวกรรมจะต้องประเมินว่าการออกแบบโครงสร้างพื้นฐานส่งผลต่อเศรษฐศาสตร์หน่วยอย่างไร การปรับใช้ไปป์ไลน์เอเจนต์ระดับการผลิตต้องอาศัยระบบแบ็คเอนด์ที่เพิ่มปริมาณงานต่อเมกะวัตต์สูงสุด พร้อมทั้งลดต้นทุนต่อล้านโทเค็นให้น้อยที่สุด องค์กรต้องประเมินว่าอินสแตนซ์การให้บริการแบบเสาหินแบบดั้งเดิมสามารถรองรับเวิร์กโหลดเอเจนต์ได้หรือไม่ หรือจำเป็นต้องมีสถาปัตยกรรมที่ออกแบบร่วมกันโดยเฉพาะ

การประเมินสถาปัตยกรรม: การให้บริการแบบดั้งเดิมเทียบกับแพลตฟอร์มแบบแยกส่วน

การปรับใช้อินสแตนซ์การให้บริการแบบเสาหินที่ GPU แต่ละตัวจัดการทั้งขั้นตอนการเตรียมล่วงหน้าและการถอดรหัสจะนำไปสู่การใช้งานทรัพยากรที่ไม่เต็มประสิทธิภาพอย่างรุนแรงในช่วงการทำงานของเอเจนต์ที่มีบริบทขนาดยาว แม้ว่าการปรับแบบเสาหินจะให้การตั้งค่าเริ่มต้นที่ง่าย แต่ก็ประสบปัญหาความอดอยากในการประมวลผลในช่วงการถอดรหัสและข้อจำกัดด้านความจุหน่วยความจำในช่วงที่มีการเตรียมล่วงหน้าพุ่งสูงขึ้น ในทางตรงกันข้าม สถาปัตยกรรมศูนย์ข้อมูล AI แบบแยกส่วนจะแยกการเข้ารหัสบริบทออกจากการสร้างโทเค็นอย่างไดนามิก โดยรักษาระดับการใช้งานให้อยู่ในระดับสูงทั้งในโดเมนการประมวลผลและหน่วยความจำ

ตารางด้านล่างสรุปการแลกเปลี่ยนทางสถาปัตยกรรมที่สำคัญในวิธีการให้บริการการอนุมานที่แตกต่างกัน:

การเปลี่ยนแปลงเชิงโครงสร้างนี้แสดงถึงรูปแบบหนึ่งของการลดเงินเฟ้อด้านต้นทุนการอนุมาน: ความจุศูนย์ข้อมูลต่อเมกะวัตต์คงที่แต่ละรายการสามารถผลิตงานเอเจนต์ที่มีประโยชน์ได้มากขึ้นอย่างมีนัยสำคัญ ด้วยการผสมผสานการเร่งความเร็วของฮาร์ดแวร์เข้ากับการกำหนดเส้นทางเวิร์กโหลดอัจฉริยะ ผู้ปฏิบัติงานจึงสามารถรักษาประสิทธิภาพแบบโต้ตอบข้ามงานที่ซับซ้อนและยาวนานได้

รายการตรวจสอบทางวิศวกรรมและตารางการตรวจสอบ: การเพิ่มประสิทธิภาพการเก็บข้อมูลทางไกลของเอเจนต์ระดับแร็ค

เพื่อเตรียมโครงสร้างพื้นฐานศูนย์ข้อมูลและไปป์ไลน์แอปพลิเคชันสำหรับเวิร์กโหลดเอเจนต์ที่มีปริมาณงานสูง ทีมเทคนิคและปฏิบัติการควรกำหนดแนวทางปฏิบัติด้านการเพิ่มประสิทธิภาพที่มีโครงสร้าง

รายการตรวจสอบการใช้งานสำหรับนักพัฒนา

• แยกผู้ปฏิบัติงานเตรียมล่วงหน้าออกจากผู้ปฏิบัติงานถอดรหัส: แยกการนำเข้าบริบทที่เน้นการประมวลผลออกจากการสร้างโทเค็นที่ผูกพันกับหน่วยความจำไปยังกลุ่มพูลผู้ปฏิบัติงานที่ปรับขนาดได้อย่างอิสระ เพื่อเพิ่มการใช้งานโปรเซสเซอร์ให้สูงสุด
• ใช้การกำหนดเส้นทางที่รับรู้ KV-Cache: กำหนดค่าเกตเวย์ API และตัวโหลดบาลานเซอร์เพื่อกำหนดเส้นทางคำขอแบบหลายเทิร์นที่เข้ามาไปยังโหนดผู้ปฏิบัติงานที่มีแคชบริบทที่เกี่ยวข้องอยู่แล้ว
• ประเมินการquantizationความแม่นยำต่ำลง: ทำการทดสอบเปรียบเทียบ NVFP4 และเส้นทางการดำเนินการที่มีความแม่นยำผสมข้ามโมเดลเป้าหมายเพื่อลดพื้นที่หน่วยความจำ พร้อมทั้งตรวจสอบความเสถียรในการให้เหตุผลของเอาต์พุต

รายการตรวจสอบด้านการปฏิบัติงานและเศรษฐศาสตร์

• ตรวจสอบปริมาณงานต่อเมกะวัตต์: ติดตามโทเค็นต่อเมกะวัตต์ที่ต่อเนื่องในเวิร์กโหลดจริง แทนที่จะอาศัยเกณฑ์มาตรฐานความหน่วงของคำขอเดี่ยวแบบแยกเดี่ยวอย่างเดียว
• ตรวจสอบเศรษฐศาสตร์หน่วยโทเค็น: วัดต้นทุนโครงสร้างพื้นฐานทั้งหมดต่อล้านโทเค็นข้ามเส้นทางเอเจนต์หลายขั้นตอนเพื่อรักษาอัตรากำไรที่ยั่งยืน
• โปรไฟล์เวลาสู่โทเค็นแรก (TTFT): ตรวจสอบความหน่วงของการตอบสนองเริ่มต้นในช่วงการเตรียมล่วงหน้าบริบทขนาดยาว เพื่อให้แน่ใจว่าการจัดกลุ่มแบตช์ที่มีปริมาณงานสูงจะไม่ส่งผลกระทบต่อประสบการณ์ของผู้ใช้แบบโต้ตอบ

การนำวิธีการปฏิบัติงานเหล่านี้มาใช้ช่วยให้ทีมวิศวกรรมสามารถปรับใช้ระบบเอเจนต์ระยะยาวที่ตอบสนองได้ดี พร้อมทั้งรักษากฎระเบียบด้านต้นทุนโครงสร้างพื้นฐานอย่างเข้มงวด

ความก้าวหน้าของฮาร์ดแวร์ที่แสดงให้เห็นทั่วทั้งแพลตฟอร์ม Vera Rubin NVL72 เน้นย้ำถึงการเปลี่ยนแปลงที่จำเป็นในโครงสร้างพื้นฐานการประมวลผล: การดำเนินงาน AI ที่ปรับขนาดได้จำเป็นต้องมีการออกแบบร่วมกันแบบเต็มสแต็คทั้งในระดับซิลิคอน สถาปัตยกรรมหน่วยความจำ และรันไทม์ซอฟต์แวร์ ในขณะที่เอเจนต์อัตโนมัติแบบหลายขั้นตอนกลายเป็นอินเทอร์เฟซมาตรฐานสำหรับซอฟต์แวร์องค์กร โมเดลการให้บริการแบบเสาหินแบบดั้งเดิมจึงกำลังถูกแทนที่ด้วยระบบที่แยกส่วนและเน้นหน่วยความจำ

สำหรับสถาปนิกโครงสร้างพื้นฐานและผู้นำทางวิศวกรรม การนำทางในยุคปริมาณงานสูงนี้จำเป็นต้องนำหลักการระบบที่แยกส่วนมาใช้ทั่วทั้งไปป์ไลน์ของศูนย์ข้อมูล การปรับใช้บริการแบบแยกส่วน การแคชบริบทแบบกระจาย และการกำหนดเส้นทางเวิร์กโหลดอัจฉริยะ จะช่วยให้องค์กรสามารถสร้างสถาปัตยกรรมการประมวลผลที่มีความยืดหยุ่น ซึ่งมีความสามารถในการปรับขนาดความฉลาดของเอเจนต์ได้อย่างมีประสิทธิภาพภายในงบประมาณพลังงานสาธารณูปโภคที่กำหนดไว้