Etched 出貨首款推論機架，估值飆升至 210 億美元

Etched 是否已開始出貨其 AI 推論硬體？這家新創公司表示，在以 210 億美元估值募資 7 億美元的同時，已向 Jane Street 交付了首款機架。隨著推論工作負載規模擴大，記憶體頻寬、互連延遲、供電能力以及持續的運算利用率，往往變得與峰值算力吞吐量同等重要。傳統的圖形處理器（GPU）專為處理高度平行的工作負載而設計。然而，自迴歸生成會反覆將模型權重、KV 快取資料與中間狀態透過記憶體階層進行傳輸，其存取模式則會根據模型架構與服務配置而有所不同。

為什麼 Etched 的首款機架對 AI 推論經濟學至關重要

重點一覽

• Etched 完成了一輪由 Jane Street 領投的 7 億美元融資，在短短一個月內將其帳面估值翻倍至 210 億美元。
• 該公司已向 Jane Street 出貨首款推論機架，標誌著這家量化交易巨頭開始在其工作負載中部署該硬體的重要里程碑。
• Etched 已在公共與私有 AI 公司中獲得超過 10 億美元的客戶合約，為強勁的客戶需求釋出了早期訊號。

生成式 AI 的快速發展推升了對高效能運算基礎設施的需求。在最初的訓練時代，標準的圖形處理器極具成效，因為模型訓練依賴於連續的反向傳播計算。訓練工作負載通常能展現出比自迴歸解碼更高的算力平行度，使 GPU 特別適合大規模矩陣計算。

然而，隨著應用程式邁入推論時代，工程需求已然改變。與訓練不同，推論不會反覆更新模型權重；服務效能反而高度取決於在延遲與吞吐量限制下，如何有效率地移動與處理模型狀態。根據工作負載的特性，即使峰值算力吞吐量很高，記憶體頻寬與互連延遲仍可能導致運算資源利用率不足。Etched 認為，現有 AI 加速器上的持續推論吞吐量可能遠低於峰值 FLOPs，因為熱能、記憶體與互連的限制會壓抑利用率。

這些限制有助於解釋為什麼專用推論硬體正吸引大量投資。Etched 正在開發橫跨晶片、機架、記憶體、互連、軟體與製造的垂直共同設計推論系統。雖然該公司最初與特定於 Transformer 的晶片設計劃上等號，但其目前的系統旨在支援更廣泛的前沿模型架構，包括專家混合（MoE）模型，且根據公司高層所述，亦包含如 Mamba 等非 Transformer 架構。透過共同設計整個執行堆疊，此客製化硬體旨在降低執行開銷。其取捨也很明確：對於其目標推論領域以外的工作負載，此客製化硬體通常比通用 GPU 平台缺乏靈活性。正如 TechCrunch 關於此次融資的報導中所討論的，Jane Street 的部署為市場對 Etched 架構的信心提供了早期訊號，儘管公開資料尚未確立其相較於領先 GPU 系統的生產規模效能或成本優勢。

底層運作機制：低電壓推論與叢集規模記憶體

在機架規模下，記憶體子系統與規模擴展互連可能會限制模型狀態在記憶體與運算資源之間傳輸的速度。當應用程式執行推論呼叫時，處理器必須從記憶體讀取資料、完成運算，並將輸出寫回。在標準配置中，這些傳輸可能會在整個記憶體階層與擴展互連中引入延遲和頻寬壓力。

為了解決這些推論瓶頸，Etched 針對高吞吐量與低延遲工作負載結合了兩種互補的架構方法：

低電壓推論（LVI）與叢集規模記憶體（CSM）

• 低電壓推論（LVI）：Etched 主要將 LVI 定位在高效能推論，並在預填充密集型工作負載的背景下進行說明。Etched 表示，較低電壓的數學運算區塊能在可用的功耗與熱能限制內大幅提升運算密度，同時降低受到功耗與熱能限制的影響。
• 叢集規模記憶體（CSM）：CSM 則鎖定低延遲記憶體存取，旨在解決解碼瓶頸。Etched 認為，當前的 HBM 架構 AI 系統由於記憶體子系統和互連瓶頸，難以達到 SRAM 級別的解碼延遲。CSM 透過專有的高頻寬互連將多個晶片連接起來，在擴展域內建立共用且低延遲的記憶體池，藉此解決此問題。

根據 Etched 對預填充與解碼工作負載的描述，可將其簡化對應為：

[高吞吐量 / 預填充密集型工作負載]
                     │
                     ▼
       [低電壓推論 — LVI]


[低延遲 / 解碼密集型工作負載]
                     │
                     ▼
       [叢集規模記憶體 — CSM]

透過共同設計運算、記憶體與互連，Etched 旨在提升持續推論的利用率。總體而言，這些方法針對的是推論工作負載中不同的運算、記憶體與互連限制。

專用 ASIC 與通用 GPU：評估專門化的取捨

隨著現代運算環境轉向替代硬體平台，開發人員必須重新評估他們如何管理執行堆疊與運算工作負載。從通用 GPU 過渡到特殊應用積體電路（ASIC）代表了一項根本性的策略抉擇。工程團隊必須權衡專用硬體帶來的潛在效率優勢，以及軟體鎖定與剛性架構限制所帶來的系統性風險。

架構評估：客製化 ASIC 與通用 GPU

開發 ASIC 需要投入龐大的前期工程資源、長期的製造協議，以及穩定且可預測的工作負載輪廓。當工作負載特徵與硬體高度契合時，這種方法可以提高每 Token 的效能與成本效益，但如果底層神經網路架構經歷劇烈的範式轉移，則會限制平台的適應能力。相較之下受益於成熟的軟體生態系統，且在模型架構演進時通常能提供更高的靈活性，儘管當工作負載與其架構高度吻合時，工作負載專用的 ASIC 可能會提供更強的效率。

下表概述了專用 ASIC 與通用 GPU 之間的核心取捨：

隨著組織擴展其活躍的部署叢集，評估這些硬體取捨至關重要。雖然通用 GPU 仍然是標準研究和多模型實驗的預設選擇，但對於將最小化延遲視為首要營運目標的高量、明確定義的生產工作負載而言，專用 ASIC 正展現出越來越大的吸引力。

整合檢查清單：工程團隊如何為硬體與軟體共同設計做好準備

為了在資料中心採用專用推論硬體時維持執行穩定性與可預測的效能，工程與產品團隊必須採用穩健的共同設計工作流程。

開發人員實施檢查清單

• 分析模型與 KV 快取記憶體需求：在生產流量下測量模型權重、KV 快取成長、啟動記憶體以及批次大小敏感度。
• 評估模型架構相容性：驗證您的生產神經網路是否與 ASIC 支援的硬體級數學運算子相符。
• 基準測試核心執行延遲：在真實的批次分佈下分別對預填充和解碼階段進行效能分析，以找出潛在的管線瓶頸。

產品與策略檢查清單

• 在硬體專門化之前評估工作負載穩定性：在承諾採用更專用的硬體之前，確定生產模型架構變更的頻率。
• 稽核推論經濟學：對每個美元與每瓦特的吞吐量進行基準測試，以證明採用專用硬體堆疊的轉換成本是合理的。
• 驗證系統可擴展性：確保您的硬體部署計畫已將原物料前置時間與先進封裝供應限制納入考量。

藉由建立這些結構化指導方針，開發團隊可以將其應用程式過渡到更可靠、更高效的推論部署，同時維持營運的連續性。

工程團隊的重要關鍵takeaways

Etched 的首款機架出貨為該公司帶來了其 210 億美元估值先前所缺乏的東西：真正的客戶部署。Jane Street 的早期採用以及超過 10 億美元的報導合約強化了需求論述，但合約與早期測試並不等於經過驗證的大規模經濟效益。

這項技術賭注比單一晶片更為廣泛。Etched 圍繞著推論工作負載共同設計了矽晶片、記憶體、互連、機架與軟體，並將 LVI 用於高效能運算、CSM 用於低延遲記憶體存取。對買家而言，核心問題在於這些效率提升是否能大於通用 GPU 所提供的靈活性、生態系統成熟度、供應鏈韌性與升級路徑。

參考資料

1. Etched. From Zero to One: Shipped First Customer Delivery. https://www.etched.com/progress/from-zero-to-one

2. Reuters. AI chip startup Etched valued at $21 billion in latest funding round. https://www.reuters.com/technology/ai-chip-startup-etched-valued-21-billion-latest-funding-round-2026-08-18/

3. TechCrunch. Etched’s valuation doubles to $21B in a month. https://techcrunch.com/2026/08/18/etcheds-valuation-doubles-to-21b-in-a-month/

4. TechCrunch. AI chip startup Etched defies skeptics, hits $10.3B valuation from big-name investors. https://techcrunch.com/2026/07/23/ai-chip-startup-etched-defies-skeptics-hits-10-3b-valuation-from-big-name-investors/