NVIDIA ra mắt Rubin NVL72? Dữ liệu hiệu suất trên silicon mới cho thấy nền tảng Vera Rubin NVL72 mang lại thông lượng trên mỗi megawatt cao hơn tới 30 lần và chi phí token thấp hơn 35 lần đối với các tác vụ AI tác tử so với GB300 NVL72 theo cấu hình AgentX đã thử nghiệm, thiết lập một chuẩn mực hiệu suất phần cứng mới cho các nhà máy AI bị giới hạn năng lượng. Khi các tác nhân phần mềm tự động chuyển đổi từ các lệnh đơn lẻ mang tính thử nghiệm sang các quy trình vận hành nhiều bước, nhu cầu tính toán đang mở rộng nhanh chóng. Dữ liệu sử dụng OpenRouter được NVIDIA trích dẫn chỉ ra rằng một yêu cầu tác tử duy nhất tiêu tốn lượng token gấp khoảng 15 lần so với yêu cầu trò chuyện thông thường vì các tác nhân liên tục truy vấn cơ sở dữ liệu, truy xuất tài liệu bên ngoài, tạo ra các tác nhân phụ và duy trì bộ nhớ ngữ cảnh dài. Để duy trì thông lượng mật độ cao này trong giới hạn năng lượng trung tâm dữ liệu cố định, kiến trúc máy chủ đang chuyển dịch sang xu hướng thiết kế đồng bộ giữa phần cứng và phần mềm ở mức cực hạn.
Tái Định Hình Cốt Lõi Ngành & Phân Tích Tin Tức: Vera Rubin NVL72 Cho Quy Mô AI Tác Tử
Tổng Quan Nhanh
- Dữ liệu hiệu suất trên silicon công bố ngày 24 tháng 8 năm 2026 cho thấy Vera Rubin NVL72 mang lại thông lượng trên mỗi megawatt cao hơn tới 30 lần so với GB300 NVL72 trong các tác vụ lập trình tác tử, với kết quả được NVIDIA đo lường bằng tác vụ SemiAnalysis AgentX và hiện đang chờ SemiAnalysis đánh giá lại.
- Các tác nhân tự động nhiều bước tiêu tốn lượng token nhiều hơn khoảng 15 lần so với tương tác chatbot tiêu chuẩn, khiến tính sẵn có của nguồn điện, thông lượng trên mỗi megawatt và kinh tế học token trở thành các ràng buộc ngày càng quan trọng đối với hạ tầng AI.
- Nền tảng này kết hợp tính toán phục vụ phân tách, bộ nhớ đệm KV phân tán, định tuyến nhận biết KV, độ chính xác NVFP4, mạng lưới quy mô tủ rack và thiết kế đồng bộ phần cứng-phần mềm rộng rãi hơn, góp phần giúp NVIDIA giảm chi phí token được báo cáo lên tới 35 lần so với GB300 NVL72 dưới cấu hình AgentX đã thử nghiệm.
Sự chuyển đổi từ giao diện chatbot cơ bản sang quy trình làm việc AI tác tử đang thúc đẩy sự biến đổi cấu trúc trong kỹ thuật trung tâm dữ liệu. Các tương tác một lượt tiêu chuẩn thường hoạt động trong ranh giới đầu vào-đầu ra ngắn gọn dao động từ 1.000 đến 8.000 token. Ngược lại, các tác nhân tự động thực thi các vòng lặp suy luận lặp đi lặp lại trong đó mọi lệnh gọi công cụ, truy xuất cơ sở dữ liệu và đầu ra trung gian đều tích lũy vào cửa sổ ngữ cảnh của các bước tiếp theo. Ngữ cảnh tích lũy này tạo ra các đợt tính toán bất thường theo sau bởi các giai đoạn có độ trễ mạng, gây áp lực lên các máy chủ suy luận truyền thống vốn được thiết kế cho các tác vụ hỏi-đáp tĩnh.
Để đánh giá hiệu suất hạ tầng trong các điều kiện thực tế này, các tiêu chuẩn đánh giá phần cứng đang chuyển dịch khỏi các đánh giá chuỗi độ dài cố định sang việc phát lại phiên động. Sử dụng bộ công cụ đánh giá SemiAnalysis AgentX, NVIDIA đã đo lường thông lượng hệ thống ổn định trên các quỹ đạo lập trình mang phong cách sản xuất được phát lại từ các mô hình hàng đầu, bao gồm DeepSeek V4 Pro, Kimi K3 và GLM-5.3. Các phiên được ghi lại duy trì sự phát triển ngữ cảnh thực tế, khoảng thời gian gọi công cụ và các mẫu tạo tác nhân phụ để kiểm tra mức độ hiệu quả của phần cứng trong việc chuyển đổi năng lượng thô thành đầu ra có thể sử dụng, như chi tiết trong thông báo kỹ thuật doanh nghiệp của NVIDIA. Kết quả của Vera Rubin phản ánh các phép đo ban đầu này và hiện đang chờ SemiAnalysis đánh giá lại.
Bước nhảy vọt về hiệu suất trên toàn bộ nền tảng Vera Rubin cho thấy sự thay đổi lớn trong cách đánh giá các nền tảng điện toán tăng tốc. Trong các nhà máy AI bị giới hạn năng lượng, thông lượng trên mỗi megawatt quyết định tổng năng lực vận hành, trong khi chi phí trên mỗi triệu token chi phối biên lợi nhuận gộp. Kết quả đánh giá chỉ ra rằng Blackwell GB300 NVL72 mang lại thông lượng trên mỗi megawatt cao hơn tới 15 lần và chi phí token thấp hơn 10 lần so với hệ thống Hopper H200. Kiến trúc Vera Rubin mở rộng đường cong hiệu suất này hơn nữa, đạt thông lượng trên mỗi megawatt cao hơn tới 30 lần so với GB300 tại các mục tiêu phục vụ tương tác là 160 token mỗi giây cho mỗi người dùng trên các tác vụ DeepSeek V4 Pro, như được báo cáo trong báo cáo trên Blog Nhà phát triển NVIDIA.
Sự Ngắt Kết Nối Kiến Trúc Dưới Nắp Capo: Phục Vụ Phân Tách và Định Tuyến Bộ Nhớ Đệm KV
Hiệu suất vượt trội của kiến trúc Rubin bắt nguồn từ việc giải quyết sự sai lệch vật lý cơ bản giữa giai đoạn chuẩn bị (prefill) và giai đoạn giải mã (decode) của suy luận mô hình ngôn ngữ lớn. Giai đoạn prefill xử lý prompt đầu vào và bị giới hạn bởi khả năng tính toán, hưởng lợi từ thông lượng số học song song cao. Ngược lại, giai đoạn decode tạo ra các token một cách tuần tự và thường nhạy cảm với băng thông bộ nhớ hơn, đặc biệt là ở các kích thước batch tương tác nhỏ, vì việc tạo token liên tục truy cập vào trọng số mô hình và trạng thái KV.
Để loại bỏ ma sát vận hành này, các kiến trúc nhà máy AI hiện đại triển khai tính toán phục vụ phân tách. Kỹ thuật này tách biệt việc thực thi prefill và decode trên các nhóm worker được mở rộng quy mô độc lập, cho phép từng giai đoạn mở rộng quy mô độc lập và khớp tỷ lệ tạo ra một cách linh hoạt trên toàn bộ cụm máy chủ.
Tối Ưu Hóa Bộ Nhớ: Bộ Nhớ Đệm Phân Tán và Miền Mở Rộng NVLink
Trong các phiên tác tử kéo dài, việc tính toán lại các token đã được xử lý trước đó tạo ra sự dư thừa tính toán lớn. Để duy trì hiệu hiệu suất, các framework phục vụ triển khai bộ nhớ đệm khóa-giá trị (KV) phân tán trên miền kết nối tốc độ cao, cho phép GPU chia sẻ và tái sử dụng ngữ cảnh mà không cần tính toán prefill dư thừa.
Sơ đồ dưới đây minh họa sự tách biệt kiến trúc giữa quá trình xử lý prefill phân tách và quá trình tạo decode nhận biết KV:
[Yêu Cầu Tác Tử Nhiều Bước Đến (Ngữ Cảnh Tích Lũy)]
│
▼
[ Nhóm Worker Prefill Phân Tách ] ──> Mã Hóa Ngữ Cảnh Tăng Tốc
│
▼ (Truyền Trạng Thái Ngữ Cảnh Qua Mạng Lưới Băng Thông Cao)
[ Bộ Điều Phối Định Tuyến Nhận Biết KV (Dynamo) ] ──> Khớp Nút Worker Đã Lưu Đệm
│
▼
[ Nhóm Worker Decode Phân Tách ] ──> Tạo Token Độ Trễ Thấp
Để hỗ trợ các kỹ thuật bộ nhớ phân tán này, hệ thống sử dụng chuyển mạch kết nối thế hệ thứ sáu mang lại tốc độ gói tin cao hơn đáng kể và độ trễ thấp hơn so với các thiết bị mạng thương mại có sẵn. Trải dài qua các nhân CUDA được tối ưu hóa, các thư viện thời gian chạy như TensorRT-LLM và các framework điều phối như NVIDIA Dynamo, lớp phục vụ định tuyến các yêu cầu trực tiếp đến các nút thực thi đã lưu trữ ngữ cảnh liên quan. NVIDIA cho biết các công nghệ quản lý năng lượng DSX MaxLPS của họ có thể cung cấp thêm tới 40% GPU trong cùng một mức ngân sách megawatt, tối đa hóa hơn nữa thông lượng ở quy mô tiện ích.
Cách tiếp cận toàn diện này thể hiện một nguyên tắc kỹ thuật rộng lớn hơn: việc mở rộng quy mô các tác vụ AI hiện đại đòi hỏi phải loại bỏ các phép tính dư thừa và tối ưu hóa việc vận chuyển bộ nhớ qua mọi lớp của hệ thống. Trong kỹ thuật phần mềm phân tán, các nguyên tắc hiệu quả song song áp dụng cho các luồng dữ liệu thông lượng cao, nơi các kiến trúc tách biệt việc thu nhận khỏi việc đồng bộ hóa trạng thái để ngăn ngừa tắc nghẽn xử lý.
Hệ Thống Tách Rời & Phân Tích So Sánh: Phục Vụ Đơn Khối và Nhà Máy AI Thiết Kế Đồng Bộ
Khi các kiến trúc đồng thời cao tiến hóa theo hướng xử lý phân tách ở phía máy chủ, các đội ngũ kỹ thuật phải đánh giá thiết kế hạ tầng tác động như thế nào đến kinh tế học đơn vị. Việc triển khai các đường ống tác tử cấp độ sản xuất đòi hỏi các hệ thống backend tối đa hóa thông lượng trên mỗi megawatt đồng thời giảm thiểu chi phí trên mỗi triệu token. Các tổ chức phải đánh giá xem các phiên phục vụ đơn khối truyền thống có thể duy trì các tác vụ tác tử hay liệu các kiến trúc thiết kế đồng bộ chuyên dụng là bắt buộc.
Đánh Giá Kiến Trúc: Phục Vụ Truyền Thống và Nền Tảng Phân Tách
Việc triển khai các phiên phục vụ đơn khối trong đó mỗi GPU xử lý cả giai đoạn prefill và decode dẫn đến tình trạng sử dụng tài nguyên kém hiệu quả nghiêm trọng trong các lượt tác tử ngữ cảnh dài. Mặc dù các triển khai đơn khối cung cấp thiết lập ban đầu đơn giản, chúng phải chịu cảnh thiếu hụt tính toán trong các giai đoạn decode và giới hạn dung lượng bộ nhớ trong các đợt prefill bùng nổ. Ngược lại, kiến trúc nhà máy AI phân tách ngắt kết nối linh hoạt việc mã hóa ngữ cảnh khỏi việc tạo token, duy trì mức sử dụng cao trên cả miền tính toán và bộ nhớ.
Bảng dưới đây phác thảo các đánh đổi kiến trúc chính giữa các phương pháp phục vụ suy luận khác nhau:
| Mô Hợp Kiến Trúc | Chiến Lược Mở Rộng Ngữ Cảnh | Phân Bổ Prefill/Decode | Thông Lượng Trên Mỗi Megawatt | Kinh Tế Học Chi Phí Token |
|---|---|---|---|---|
| Phục Vụ Đơn Nút Đơn Khối | Phân Bổ Bộ Nhớ Tĩnh | Liên Kết Chặt Chẽ | Cơ Sở | Cơ Sở Cao Tiêu Chuẩn |
| Suy Luận Cụm Kết Hợp | Nhóm Tài Nguyên Chia Sẻ | Phân Bổ Worker Đồng Nhất | Trung Bình (Phụ Thuộc Tác Vụ) | Tỷ Lệ Cụm Tiêu Chuẩn |
| Nhà Máy AI Thiết Kế Đồng Bộ Phân Tách | Định Tuyến Bộ Nhớ Đệm KV Phân Tán | Phân Tách Hoàn Toàn & Độc Lập | Lên Đến 30x So Với GB300 (Báo Cáo) | Chi Phí Thấp Hơn Lên Đến 35x So Với GB300 |
Sự chuyển dịch cấu trúc này thể hiện một hình thức giảm phát chi phí suy luận: mỗi megawatt công suất trung tâm dữ liệu cố định có thể tạo ra khối lượng công việc tác tử hữu ích lớn hơn đáng kể. Bằng cách kết hợp tăng tốc phần cứng với định tuyến tác vụ thông minh, các nhà vận hành có thể duy trì hiệu suất tương tác trên các tác vụ phức tạp, kéo dài.
Checklist Kỹ Thuật & Lịch Trình Xác Thực: Tối Ưu Hóa Đo Lường Từ Xa Tác Tử Quy Mô Tủ Rack
Để chuẩn bị hạ tầng trung tâm dữ liệu và các đường ống ứng dụng cho các tác vụ tác tử thông lượng cao, các đội ngũ kỹ thuật và vận hành nên thiết lập các thực tiễn tối ưu hóa có cấu trúc.
Checklist Triển Khai Cho Lập Trình Viên
- Tách Biệt Worker Prefill Khỏi Worker Decode: Tách biệt việc thu nhận ngữ cảnh nặng về tính toán khỏi việc tạo token giới hạn bởi băng thông bộ nhớ thành các nhóm worker được mở rộng quy mô độc lập để tối đa hóa hiệu suất bộ xử lý.
- Triển Khai Định Tuyến Nhận Biết Bộ Nhớ Đệm KV: Cấu hình các cổng API và bộ cân bằng tải để định tuyến các yêu cầu nhiều bước đến các nút worker đã lưu trữ ngữ cảnh liên quan.
- Đánh Giá Lượng Tử Hóa Độ Chính Xác Thấp: Kiểm thử điểm chuẩn NVFP4 và các đường dẫn thực thi độ chính xác hỗn hợp trên các mô hình mục tiêu để giảm dung lượng bộ nhớ đồng thời xác minh tính ổn định của lập luận đầu ra.
Checklist Vận Hành & Kinh Tế Học
- Giám Sát Thông Lượng Trên Mỗi Megawatt: Theo dõi số token ổn định trên mỗi megawatt trên các tác vụ thực tế thay vì chỉ dựa hoàn toàn vào các điểm chuẩn độ trễ yêu cầu đơn lẻ cô lập.
- Kiểm Toán Kinh Tế Học Đơn Vị Token: Đo lường tổng chi phí hạ tầng trên mỗi triệu token qua các quỹ đạo tác tử nhiều bước để duy trì biên lợi nhuận bền vững.
- Đo Lường Thời Gian Đến Token Đầu Tiên (TTFT): Giám sát độ trễ phản hồi ban đầu trong các giai đoạn prefill ngữ cảnh dài để đảm bảo việc gom nhóm thông lượng cao không làm tổn hại đến trải nghiệm người dùng tương tác.
Việc áp dụng các phương pháp vận hành này cho phép các đội ngũ kỹ thuật triển khai các hệ thống tác tử phản hồi nhanh, kéo dài đồng thời duy trì việc quản trị chi phí hạ tầng nghiêm ngặt.
Các Câu Hỏi Thường Gặp (FAQ)
Tại sao các tác vụ AI tác tử tiêu tốn lượng token nhiều hơn gấp 15 lần so với các truy vấn chatbot tiêu chuẩn?
Tính toán phục vụ phân tách cải thiện thông lượng trên mỗi megawatt của nhà máy AI như thế nào?
Sự khác biệt giữa các số liệu hiệu suất của Blackwell GB300 NVL72 và Vera Rubin NVL72 là gì?
Điểm Chính Dành Cho Các Đội Ngũ Kỹ Thuật
Những tiến bộ về phần cứng được thể hiện trên nền tảng Vera Rubin NVL72 làm nổi bật một sự thay đổi thiết yếu trong hạ tầng điện toán: các hoạt động AI có thể mở rộng đòi hỏi thiết kế đồng bộ toàn diện trên silicon, kiến trúc bộ nhớ và thời gian chạy phần mềm. Khi các tác nhân tự động nhiều bước trở thành giao diện chuẩn cho phần mềm doanh nghiệp, các mô hình phục vụ đơn khối truyền thống đang được thay thế bằng các hệ thống phân tách, tập trung vào bộ nhớ.
Đối với các kiến trúc sư hạ tầng và nhà lãnh đạo kỹ thuật, việc điều hướng kỷ nguyên thông lượng cao này đòi hỏi phải áp dụng các nguyên tắc hệ thống tách rời trên các đường ống trung tâm dữ liệu. Bằng cách triển khai phục vụ phân tách, bộ nhớ đệm ngữ cảnh phân tán và định tuyến tác vụ thông minh, các tổ chức có thể xây dựng các kiến trúc điện toán kiên cường có khả năng mở rộng trí tuệ tác tử một cách hiệu quả trong ngân sách điện năng tiện ích cố định.
Share this article
