NVIDIA 攜手 d-Matrix ASIC：AI 推論架構的未來

為什麼 NVIDIA 要將 GPU 與 d-Matrix 的 ASIC 進行配對？NVIDIA 已不再僅僅押注於 GPU。為什麼 NVIDIA 選擇與 d-Matrix 合作，而不是自行研發推論 ASIC？答案揭示了 AI 基礎設施更廣泛的變革：推論優化正從單純的 GPU 擴展，轉向針對工作負載的專用加速。隨著 AI 推論在 GPU、ASIC 加速器與分散式雲端環境之間遷移，挑戰已不再僅止於運算能力。硬體編排、工作負載路由與系統級效率正變得同等重要。隨著生成式 AI 工作負載從大規模訓練叢集轉向即時模型部署，優化 Token 生成速度已成為關鍵的工程挑戰。NVIDIA 將 GPU 與 d-Matrix ASIC 結合，旨在支援異質化的解構式推論系統。

為什麼 NVIDIA 將 GPU 與 d-Matrix ASIC 結合：讓工作負載與矽物理特性相匹配

概覽

• NVIDIA 正在結合其強大的 Hopper 與 Blackwell GPU 系列，與 d-Matrix 的 Corsair 推論加速器，以部署異質化的解構式推論系統。
• Neocloud 提供商 Parasail 已成為首位商業客戶，並在其全球資料中心基礎設施中實作了這套聯合硬體解決方案。
• 當記憶體頻寬與資料傳輸成為限制因素（而非原始運算可用性）時，大規模推論工作負載往往會面臨嚴重的 GPU 使用率不足問題。

大規模人工智慧的經濟模式正經歷從模型訓練轉向推論部署的顯著轉型。在初始擴張階段，雲端提供商與企業開發者高度聚焦於原始的反向傳播運算能力，並採購了大量的圖形處理器（GPU）叢集。在訓練海量資料集需要持續平行執行時，這種單一供應商依賴模式是非常合理的。然而，隨著組織轉向即時服務數百萬活躍用戶，營運純 GPU 基礎設施以執行推論任務的財務成本已變得難以負荷。

為了優化營運支出，基礎設施架構師正追求解構式運算架構。在這種多供應商範式下，單一用戶查詢會被拆分為不同的執行階段，並根據特定任務配置路由至不同的硬體加速器。這種方法使雲端提供商能從現有的硬體陣容中獲得最佳的每美元效能，正如 The Information 調查報告中追蹤多供應商雲端整合所述。

此合作對產業的影響超越了單純的工作負載分配。透過將 d-Matrix 的 Corsair 加速器與 NVIDIA 的硬體陣容正式整合，此次合作為異質雲端架構建立了一條經過驗證的路徑。NVIDIA 與 d-Matrix 推論系統不僅避免了強迫客戶在標準 GPU 叢集與新興客製化矽晶片之間做抉擇，還允許硬體協同運作，使基礎設施提供商能跨不同硬體架構優化預填充（Prefill）與解碼（Decode）工作負載。這種架構使企業雲端團隊能夠跨多元推論工作負載提升硬體使用率。

技術核心：異質解構式推論與記憶體內運算

在協定層面，回應自然語言提示需要兩個不同的處理階段。第一階段稱為預填充（Prefill），即接收用戶提示並計算初始鍵值（KV）啟用。此步驟極度依賴運算，因此非常適合 NVIDIA Hopper 架構的強大平行算術效能。

第二階段稱為解碼（Decode），即在順序迴圈中逐一生成後續 Token。由於每個 Token 都依賴先前產生的上下文，解碼階段受到記憶體頻寬的高度限制且對延遲極為敏感。在高效能 GPU 上執行此步驟會導致顯著的運算閒置，因為核心必須持續等待記憶體傳輸完成。

根據 d-Matrix 的 Corsair 架構文件，其 Corsair 加速器圍繞數位記憶體內運算（DIMC）晶片技術構建。Corsair 晶片基於台積電 N6 製程，將靜態隨機存取記憶體（SRAM）與運算單元直接整合在單一矽晶片上。這種設計減少了記憶體與運算單元之間的資料傳輸開銷。部分推論架構結合了加速器級優化與諸如推測解碼（Speculative Decoding）等技術，以進一步降低延遲，目前產業正密切關注 NVIDIA 如何結合 GPU 與記憶體內協同處理器，以突破「記憶體牆」（Memory Wall）瓶頸。透過在 GPU 旁部署專用晶片，聯合系統使硬體能協同工作。這種結構性的選擇解釋了為何 NVIDIA 將 GPU 與記憶體內協同處理器配對，以克服記憶體瓶頸。

分析 NVIDIA 如何將 GPU 與外部加速器配對，有助於開發者評估現代 Transformer 推論的核心瓶頸。下圖說明了一種可能的部署模型：

[使用者查詢輸入] ──> [雲端 API 閘道] 
                             │
                             ├─(預填充階段)─> [NVIDIA Hopper/Blackwell GPU] ──> 計算標準啟用
                             │                                                            │
                             │                                                            ▼
                             └─(解碼階段)──> [d-Matrix Corsair 加速器] ──> Token 生成 (SRAM 晶圓快取)

透過整合這兩項截然不同的技術，多供應商設定優化了推論管線的兩個階段。然而，異質推論並不會消除對 GPU 的需求。大規模訓練與許多延遲敏感型工作負載將繼續依賴 GPU 加速，這維持了在專用 ASIC 旁使用標準處理核心的基本必要性。

分散式推論同樣帶來軟體協調挑戰

同樣的架構原理也出現在硬體基礎設施之外。在行動生態系統中，延遲深度連結（Deferred Deep Linking）與 App 歸因平台正面臨類似挑戰：當用戶從分散的獲客管道進入原生應用程式時，如何保存匿名上下文。諸如 OpoInstall 之類的平台，專為透過伺服器端歸因架構解決此狀態連續性問題而設計。異質推論與行動歸因都面臨類似的系統挑戰：在執行跨越獨立環境時保存相關上下文。雖然分散式推論系統在硬體組件之間協調運算狀態，但行動歸因系統則在用戶環境之間保存獲客上下文。其底層架構原理相同：即當執行跨越獨立邊界時保持連續性。在這兩種情況下，一旦標準客戶端狀態在傳輸過程中丟失或被阻擋，系統就需要透過伺服器端狀態保存方法，以匿名方式匹配分散式事件。

構建 vs. 採購：為什麼分散式應用需要伺服器端上下文保存

隨著雲端環境轉向異質與分散式執行模型，跨不同運算節點管理會話狀態已成為關鍵的營運議題。轉向 NVIDIA 將 GPU 與自訂加速器配對的架構，迫使開發者必須更密切關注管線擴充性。隨著分散式運算架構日益普及，團隊必須評估是要自行構建客製化的會話匹配系統，還是採用標準化基礎設施。理解異質加速帶來的效率提升，有助於團隊評估基礎設施的佈建成本。

架構評估：自建 vs. 標準化 SDK

構建內部資料庫系統以跨多個雲端實例追蹤會話資料，雖然能提供自訂參數控制，但會帶來顯著的維護複雜度。開發者必須手動處理 API 請求路由、管理 Token 生命週期策略，並不斷更新安全設定以符合各區域法規的變化。相反地，部署預先構建且經過認證的 SDK，能減少日常工程負擔，確保預測整合成本。

下表比較了管理會話狀態與轉換上下文的標準方法：

雖然客製化資料庫配置可以處理基本上下文，但專業的伺服器端狀態保存方案可以優化開發資源。根據實作要求，組織可以選擇建立自己的伺服器端會話管理系統或採用商業平台。例如，OpoInstall 提供的伺服器端歸因基礎設施，可在用戶於網頁、App Store 與原生應用程式之間移動後，恢復廣告活動上下文。這種伺服器端狀態恢復與參數傳遞框架，將會話元資料直接映射至隱私友善的歸因資料層，確保活動參數保存、延遲深度連結以及歸因連續性，且不會增加客戶端程式碼庫的體積，亦無需依賴持久性客戶端識別碼。

整合檢查清單：工程團隊如何因應平台變革

為了在工作負載於本地處理區塊與遠端多供應商資料中心之間遷移時保持資料連續性，開發團隊必須建立明確的狀態治理管線。

開發者實作檢查清單

• 落實邊緣會話映射：設定網路級閘道，為所有傳入的 API 請求指派唯一的、經加密簽署的會話 Token。
• 部署非同步 Token 握手：將系統依賴項轉換為伺服器端會話狀態恢復，利用暫存 Token 安全地跨端點傳遞用戶參數。
• 審核第三方 SDK 足跡：定期評估所有已整合函式庫的大小與編譯依賴關係，以預防效能瓶頸。

產品與成長策略檢查清單

• 優化轉換漏斗：利用非侵入式的參數傳遞框架，在不違反用戶隱私準則的情況下維持獲客追蹤。
• 實作透明資料路由：重構用戶體驗流程，清楚解釋何時、何地使用外部 AI 處理路徑。
• 監控 API 工作流延遲：追蹤從初始活動點擊到伺服器端安裝匹配的標準延遲指標，以確認資料連續性。

透過建立這些結構化指導原則，開發團隊可以將應用程式遷移至更安全、更合規的架構，同時維持營運連續性。

隨著 AI 平台越來越依賴混合雲推論，開發者需要圍繞隱私、透明同意原則與安全資料路由來重塑產品。不斷演進的資料架構要求我們在建構與衡量數位體驗的方式上做出根本性轉變。隨著無狀態代理（Stateless Proxies）與無頭爬蟲（Headless Scrapers）成為網頁內容的標準消費者，傳統的客戶端歸因模型將持續弱化。僅依賴標準 Cookie 與 Referrer 已不足以保護驅動獲客的資料管線。

NVIDIA 不僅僅是取代 GPU，而是重新定義了推論工作負載的部署方式。隨著 AI 服務的重要性超越模型訓練，將 GPU 與專用 ASIC 結合的異質系統極可能成為企業 AI 基礎設施的標準架構。最佳的硬體組合取決於工作負載特性、延遲要求、模型規模與基礎設施經濟性。雖然異質推論提供了顯著的成本優勢，但標準架構仍將與專用加速器並行演進。對於行動成長團隊而言，採用伺服器端歸因基礎設施，有助於在日益碎片化的數位旅程中保存獲客情報。OpoInstall 正是透過在網頁、App Store 與原生應用程式環境中保存獲客上下文，提供了這一層歸因解決方案。