Etched、初の推論ラックを出荷、企業価値は210億ドルに到達

EtchedはAI推論ハードウェアの出荷を開始したのでしょうか。同スタートアップは、210億ドルの企業価値で7億ドルを資金調達すると同時に、Jane Streetへ初のラックを納入したと発表しました。推論ワークロードの大規模化に伴い、メモリ帯域幅、インターコネクトのレイテンシ、電力供給、そして持続的な演算利用率は、ピーク時の演算スループットと同等に重要性を増しています。従来のグラフィックス処理ユニット（GPU）は、高度に並列化されたワークロードを処理するように設計されています。しかし、自己回帰型生成では、モデルウェイト、KVキャッシュデータ、中間状態がメモリ階層内を繰り返し移動するため、そのアクセスパターンはモデルのアーキテクチャやサービング構成によって異なります。

Etchedの初号機ラックがAI推論の経済性において重要である理由

概要

EtchedはJane Streetが主導する7億ドルの資金調達ラウンドを完了し、わずか1ヶ月で簿価評価額を210億ドルへと倍増させました。
同社はJane Streetへ初の推論ラックを出荷し、この量的金融取引の大手企業が実際のワークロードでの同ハードウェアの導入を開始する上で重要なマイルストーンとなりました。
EtchedはパブリックおよびプライベートのAI企業から10億ドルを超える顧客契約を獲得しており、旺盛な顧客需要の初期シグナルとなっています。

生成AIの急激な成長は、高性能コンピューティングインフラストラクチャに対する需要を押し上げました。初期の学習時代においては、モデルの学習が継続的な逆伝播計算に依存していたため、標準的なグラフィックス処理ユニットが非常に効果的でした。学習ワークロードは、自己回帰型デコードよりも多くの演算並列性を引き出すことが多く、GPUは大規模な行列計算に特に適していました。

しかし、アプリケーションが推論時代へと移行するにつれて、エンジニアリング要件も変化しました。学習とは異なり、推論ではモデルウェイトが繰り返し更新されることはありません。代わりに、サービングのパフォーマンスは、レイテンシとスループットの制約のもとでモデルの状態を効率的に移動・処理できるかどうかに大きく依存します。ワークロードの特性によっては、ピーク時の演算スループットが高い場合でも、メモリ帯域幅やインターコネクトのレイテンシによって演算リソースが十分に活用されない状態が生じ得るのです。Etchedは、熱、メモリ、インターコネクトの制約によって利用率が制限されるため、既存のAIアクセラレータにおける持続的な推論スループットは、ピーク時のFLOPsを大きく下回ったままになる可能性があると主張しています。

大規模なAI推論をより高速かつ安価にするために設計されたフロンティア推論クラスター

こうした制約は、なぜ特化型推論ハードウェアが投資を集めているのかを説明する手がかりとなります。Etchedは、シリコン、ラック、メモリ、インターコネクト、ソフトウェア、製造にわたる、垂直統合型の共同設計による推論システムを追求しています。同社はもともとTransformer特化型のシリコン設計で知られていましたが、現在のシステムは、Mixture-of-Experts（MoE）モデルや、幹部によればMambaなどの非Transformerアーキテクチャを含む、より広範なフロンティアモデルのアーキテクチャをサポートするように設計されています。実行スタック全体を共同設計することにより、カスタムハードウェアは実行オーバーヘッドの削減を目指しています。そのトレードオフは明確であり、このカスタムハードウェアは、ターゲットとする推論ドメイン以外のワークロードに対しては、汎用GPUプラットフォームよりも一般的に柔軟性が劣ります。TechCrunchの資金調達レポートで議論されているように、Jane Streetによる導入はEtchedのアーキテクチャに対する顧客の信頼の初期シグナルとなりますが、公開データではまだ主要なGPUシステムに対する本番規模でのパフォーマンスやコスト上の優位性は確立されていません。

内部のメカニズム：低電圧推論とクラスター規模のメモリ

ラック規模においては、メモリサブシステムやスケールアップ用インターコネクトが、メモリと演算リソースの間でモデル状態が移動する速度を制限する要因となります。アプリケーションが推論呼び出しを実行する際、プロセッサはメモリからデータを読み込み、処理を完了し、その出力結果を再び書き込む必要があります。標準的な構成では、これらのデータ転送がメモリ階層やスケールアップ用インターコネクト全体でレイテンシや帯域幅の負荷を引き起こす可能性があります。

こうした推論のボトルネックに対処するため、Etchedは高スループットおよび低レイテンシのワークロードに向けて、2つの補完的なアーキテクチャアプローチを組み合わせています。

低電圧推論（LVI）とクラスター規模のメモリ（CSM）

低電圧推論（LVI）：EtchedはLVIを主に高スループット推論の位置づけとして捉えており、プリフィル（事前処理）が集中するワークロードの文脈で説明しています。Etchedによれば、低電圧化された演算ブロックにより、利用可能な電力および熱の許容範囲内で大幅に高い演算密度が実現され、電力や熱に関する制約の影響を受けにくくなるとのことです。
クラスター規模のメモリ（CSM）：CSMは低レイテンシのメモリアクセスをターゲットとしており、デコードのボトルネックに対処するように設計されています。Etchedは、今日のHBMベースのAIシステムが、メモリサブシステムやインターコネクトのボトルネックが原因でSRAMレベルのデコードレイテンシを達成するのに苦労していると主張しています。CSMは、独自の高速インターコネクトを介して複数のチップを接続し、スケールアップドメイン全体に共有の低レイテンシなメモリプールを構築することでこの課題に対応します。

Etchedによるプリフィルおよびデコードワークロードの説明に基づく簡易的なマッピングは、以下のように表現されます。

[高スループット / プリフィル集約型ワークロード]
                     │
                     ▼
       [低電圧推論 — LVI]


[低レイテンシ / デコード集約型ワークロード]
                     │
                     ▼
       [クラスター規模のメモリ — CSM]

演算、メモリ、インターコネクトを共同設計することにより、Etchedは持続的な推論利用率の向上を目指しています。これらアプローチを組み合わせることで、推論ワークロード全体における異なる演算、メモリ、インターコネクトの制約に対処します。

アクセラレーテッドニューラルネットワーク処理向けに設計されたマザーボードのアーキテクチャとシリコンウェハのレイアウト

専用ASIC対汎用GPU：特化のトレードオフの評価

現代のコンピューティング環境が代替ハードウェアプラットフォームへと移行するにつれ、開発者は実行スタックや計算ワークロードの管理方法を再評価せざるを得なくなっています。汎用GPUから特定用途向け集積回路（ASIC）への移行は、基本的な戦略的選択を表しています。エンジニアリングチームは、専用ハードウェアのもたらす潜在的な効率性の利点と、ソフトウェアのベンダーロックインや厳格なアーキテクチャ上の制約がもたらすシステムリスクを比較検討する必要があります。

アーキテクチャの評価：カスタムASIC対汎用GPU

ASICの開発には、多額の先行エンジニアリングリソース、長期的な製造契約、および安定的かつ予測可能なワークロードプロファイルが必要です。ワークロードの特性がハードウェアと密に一致している場合、このアプローチによりトークンあたりのパフォーマンスやコスト効率を向上させることができますが、基盤となるニューラルネットワークアーキテクチャが急激なパラダイムシフトを経験した場合、プラットフォームの適応能力が制限されます。一方で、GPUは成熟したソフトウェアエコシステムの恩恵を受けており、モデルアーキテクチャが進化する際により高い柔軟性を提供する傾向がありますが、ワークロード専用のASICは、ワークロードがそのアーキテクチャと密に一致する場合により高い効率性を提供する可能性があります。

以下の表は、専用ASICと汎用GPUの主なトレードオフをまとめたものです。

評価項目	専用ASIC	汎用GPU
ワークロードの柔軟性	低い	高い
ソフトウェアエコシステム	より特化型	成熟（例：CUDAなど）
推論の最適化	高いポテンシャル	広範・汎用的
導入における集中リスク	ワークロードおよびベンダーへの依存度がより高い	エコシステムはより広範だが、依然としてベンダー依存
スケールの経済性	ワークロードの適合性と利用率に依存	確立されている
アップグレードの柔軟性	低い	高い

組織が稼働中の導入クラスターを拡大するにつれて、こうしたハードウェアのトレードオフを評価することは極めて重要です。標準的な研究やマルチモデルの実験においては汎用GPUがデフォルトであり続けますが、レイテンシの最小化が第一の運用目的となる高ボリュームかつ明確に定義された本番ワークロードにおいては、専用ASICの魅力が高まっています。

統合チェックリスト：エンジニアリングチームがハードウェア・ソフトウェアの共同設計に備える方法

データセンターが特化型推論ハードウェアを採用するにつれて、実行の安定性と予測可能なパフォーマンスを維持するため、エンジニアリングおよびプロダクトチームは堅牢な共同設計ワークフローを取り入れる必要があります。

開発者の実装チェックリスト

モデルおよびKVキャッシュのメモリ要件をプロファイリングする：本番トラフィック下でのモデルウェイト、KVキャッシュの増加、アクティベーションメモリ、バッチサイズに対する感度を測定します。
モデルアーキテクチャの互換性を評価する：本番環境のニューラルネットワークが、ASICによってサポートされているハードウェアレベルの数学的演算子と一致していることを検証します。
コア実行レイテンシをベンチマークする：現実的なバッチ分布のもとでプリフィルとデコードのステージを個別にプロファイリングし、潜在的なパイプラインのボトルネックを特定します。

プロダクト＆戦略チェックリスト

ハードウェア特化の前にワークロードの安定性を評価する：より特化されたハードウェアにコミットする前に、本番モデルのアーキテクチャがどの程度の頻度で変更されるかを判断します。
推論の経済性を監査する：ドルあたりおよびワットあたりのスループットをベンチマークし、特化型ハードウェアスタックの採用による切り替えコストを正当化します。
システムの拡張性を検証する：ハードウェア導入計画に、原材料のリードタイムや高度なパッケージングの供給上の制約が考慮されていることを確認します。

こうした体系的なガイドラインを確立することにより、開発チームは運用の継続性を維持しながら、アプリケーションをより信頼性が高く効率的な推論環境へと移行させることができます。

よくある質問（FAQ）

専用推論ASICが汎用GPUを上回るのはどのような場合ですか？

専用アクセラレータは、そのアーキテクチャが安定したワークロードと密に一致している場合に効率性を高めることができます。GPUは、プログラムのしやすさ、ソフトウェアエコシステムの成熟度、および頻繁に変更されるワークロードやモデルアーキテクチャへのサポートにおいて優位性を維持しています。

低電圧推論（LVI）とクラスター規模のメモリ（CSM）は、どのようにプリフィルとデコードのボトルネックを解決しますか？

低電圧推論は、より低い電圧でプリフィルフェーズを処理し、標準的な熱的制限の範囲内で演算密度を向上させます。クラスター規模のメモリは、高速インターコネクトを介して複数のチップを接続することでデコードのボトルネックに対処し、トークン生成時のメモリアクセスの効率を最適化する共有型かつ低レイテンシのメモリプールを確立します。

特化型推論ハードウェアを採用する上での最大のビジネスリスクは何ですか？

特化型システムはワークロードがアーキテクチャに適合する場合に経済性を向上させることができますが、購入者はベンダー集中リスク、ソフトウェアの移植性、サプライチェーン、およびワークロード進化のリスクを負うことになります。GPUはエコシステムの成熟度と広範なプログラマビリティの面で優位性を維持しています。

エンジニアリングチーム向けの主要なポイント

Etchedの初号機ラックの出荷により、同社は210億ドルの企業価値にこれまで不足していたもの、すなわち実際の顧客への導入実績を手に入れました。Jane Streetによる早期の採用と10億ドル超の報告された契約は需要の根拠を強化するものではありますが、契約や初期テストは実証された大規模な経済性と同一ではありません。

この技術的な賭けは、単一のチップにとどまらない広がりを持っています。Etchedは、推論ワークロードを中心にシリコン、メモリ、インターコネクト、ラック、ソフトウェアを共同設計しており、高スループット動作にはLVIを、低レイテンシのメモリアクセスにはCSMを使用しています。購入者にとっての核心的な疑問は、そうした効率性の向上が、汎用GPUが提供する柔軟性、エコシステムの成熟度、サプライチェーンの回復力、そしてアップグレードのパスを上回ることができるかという点にあります。