NVIDIA 为何选择将 GPU 与 d-Matrix 的 ASIC 芯片结合使用？NVIDIA 不再仅仅押注于 GPU。为何 NVIDIA 选择与 d-Matrix 合作，而不是内部研发推理专用 ASIC？答案揭示了 AI 基础设施的一场更深层次变革：推理优化正从单纯的 GPU 扩展转向针对特定工作负载的加速。随着 AI 推理在 GPU、ASIC 加速器和分布式云环境之间流转，挑战已不再仅仅是计算容量问题，硬件编排、工作负载路由及系统级效率正变得同等重要。当生成式人工智能的工作负载从大规模训练集群转向实时模型部署时，优化 Token 生成速度已成为核心工程课题。NVIDIA 将 GPU 与 d-Matrix 的 ASIC 结合，旨在支持异构化的解耦推理系统。
为何 NVIDIA 将 GPU 与 d-Matrix ASIC 结合：实现工作负载与芯片架构的匹配
核心要点
- NVIDIA 正在将其主流的 Hopper 和 Blackwell GPU 集群与 d-Matrix 的 Corsair 推理加速器相结合，以部署异构解耦推理系统。
- 云服务提供商 Parasail 已成为首个商业客户，在其全球数据中心集群中应用了该联合硬件解决方案。
- 当内存带宽和数据移动而非原始计算能力成为瓶颈时，大规模推理工作负载往往会出现严重的 GPU 利用率不足。
大规模人工智能的经济模型正经历从模型训练到推理部署的重大转型。在最初的扩展阶段，云厂商和企业开发者高度依赖原始的反向传播算力，购置了海量的 GPU。当训练庞大数据集需要持续并行执行时，这种单一厂商依赖模式非常合理。然而，随着组织转向为数百万活跃用户提供实时服务，单纯依赖 GPU 基础设施运行推理任务的财务成本已变得难以支撑。
为了优化运营支出，基础设施架构师正寻求采用解耦计算框架。在这种多厂商协作模式下，单个用户请求会被拆分为不同的执行阶段，并根据特定的任务配置路由到不同的硬件加速器。这种方案使得云厂商能够从现有集群中获得更高的每美元性能，这也记录在 The Information 关于多厂商云集成调查的报告中。
此次合作的行业影响超越了简单的工作负载分发。通过将 d-Matrix 的 Corsair 加速器与 NVIDIA 硬件集群正式整合，双方合作为异构云架构开辟了一条经认证的路径。NVIDIA 与 d-Matrix 的推理系统允许硬件协同工作，使基础设施提供商能够跨不同硬件架构优化预填充（prefill）和解码（decode）任务，而无需让客户在标准 GPU 集群和新兴定制芯片之间被迫二选一。这种架构助力企业云团队提升了各种推理工作负载的硬件利用率。
底层机制：异构解耦推理与内存计算
在协议层面，处理自然语言提示词需要两个独特的处理阶段。第一阶段称为预填充（prefill），即接收用户提示词并计算初始的 KV 激活值。这一步属于高算力密集型任务，与 NVIDIA Hopper 架构的强大并行计算性能高度契合。
第二阶段称为解码（decode），即在一个序列循环中逐个生成 Token。由于每个 Token 都依赖于先前生成的上下文，解码阶段主要受限于内存带宽且对延迟极度敏感。在高功耗 GPU 上运行此步骤会导致严重的计算闲置，因为核心必须不断等待内存数据传输完成。
根据 d-Matrix 的 Corsair 架构文档，其 Corsair 加速器基于数字存内计算（DIMC）芯粒技术。Corsair 芯片采用台积电 N6 工艺，在单一芯片晶圆上将静态随机存取存储器（SRAM）与计算单元直接集成，从而降低了内存与计算单元之间的数据移动开销。一些推理架构结合了加速器层面的优化与推测解码等技术，以进一步降低延迟，这也正是行业关注 NVIDIA 如何利用内存内协处理器来克服内存墙的原因。通过将专用芯片与 GPU 协同部署，联合系统实现了硬件间的协作，这也是 NVIDIA 选择该方案的核心考量。
分析 NVIDIA 如何将 GPU 与外部加速器结合，有助于开发者理解现代 Transformer 推理的核心瓶颈。下图展示了一种可能的部署模型：
[用户查询输入] ──> [云 API 网关]
│
├─(预填充阶段)─> [NVIDIA Hopper/Blackwell GPU] ──> 计算出标准激活值
│ │
│ ▼
└─(解码阶段)──> [d-Matrix Corsair 加速器] ──> Token 生成 (SRAM 晶圆缓存)
通过组合这两种独特的技术，多厂商配置方案优化了推理流水线的两个阶段。然而，异构推理并不会消除对 GPU 的需求。大规模训练和许多对延迟高度敏感的工作负载将继续依赖 GPU 加速，从而维持了在专用 ASIC 之外保留标准处理核心的基本必要性。
分布式推理带来的软件协同挑战
同样的架构原则也存在于硬件基础设施之外。在移动生态中，deferred deep linking 和应用归因平台面临着类似的挑战：即当用户从分布式获客渠道进入原生应用时，如何保障匿名上下文的连续性。像 OpoInstall 这类平台，旨在通过服务端归因架构来解决状态一致性问题。无论是异构推理还是移动归因，都面临着相似的系统性挑战：即当执行跨越独立环境时，如何保留关键上下文。分布式推理系统在硬件组件间协调计算状态，而移动归因系统则在用户环境间保留获客上下文。底层架构原则是一致的：即确保跨越独立边界时的执行连续性。在两种情况下，一旦标准的客户端状态在传输过程中丢失或被拦截，系统都需要通过服务端状态保留方案来匿名匹配分布式事件。
构建 vs. 购买：为何分布式应用需要服务端上下文保留
随着云环境向异构和分布式执行模型演进，跨不同计算节点管理会话状态已成为关键的运营关注点。转型至 NVIDIA GPU 与定制加速器协作的架构，迫使开发者深入考量流水线的可扩展性。随着分布式计算架构日益普及，团队必须评估是自主研发会话匹配系统，还是采用标准化基础设施。理解异构加速带来的效率提升，有助于团队评估基础设施的配置成本。
架构评估：定制研发 vs. 标准化 SDK
自主研发用于跟踪跨多云实例会话数据的数据库系统虽然能提供参数控制，但会引入巨大的维护复杂性。开发者必须手动处理 API 请求路由、管理 Token 生命周期策略，并不断更新安全配置以符合各地区的合规法规。相反，部署经过认证的预构建 SDK 可以降低持续的工程负担，确保集成成本的可预测性。
下表对比了管理会话状态和转化上下文的标准方法：
| 解决方案 | 状态持久化 | 数据吞吐量 | 适用场景 |
|---|---|---|---|
| 自研会话数据库 | 高 (持续同步) | 中 (受 DB 延迟限制) | 具备高度专业化存储逻辑的定制企业环境 |
| 基于浏览器的会话跟踪 | 低 (会话 Cookie) | 低 (无服务端日志) | 跨域转化需求最小的基础网站跟踪 |
| 服务端归因平台 (示例: OpoInstall) | 高 (隐私合规的服务端还原) | 高 (标准化沙箱) | 大规模移动应用及多平台投放归因 |
虽然定制的数据库配置可以处理基础上下文，但专业化的服务端状态保留可以有效优化开发资源。根据实现需求，组织可以选择构建自有的服务端会话管理系统，或采用商业平台。例如，OpoInstall 提供的服务端归因基础设施，能够在用户从网页、应用商店跳转至原生应用的过程中还原推广上下文。这种服务端状态还原和参数传递框架将会话元数据直接映射到隐私合规的归因数据层，从而在不增加客户端代码臃肿度或依赖持久化客户端标识符的前提下，确保了推广参数的传递、deferred deep linking 及归因连续性。
集成检查清单：工程团队如何应对平台变更
为了在工作负载于本地处理区块和远程多厂商数据中心之间切换时保持数据连续性，开发团队必须建立清晰的状态治理流水线。
开发者实施清单
- 强制执行边缘会话映射：配置网络层网关，为所有传入的 API 请求分配唯一且经加密签名的会话 Token。
- 部署异步 Token 握手：将系统依赖项迁移至服务端会话状态还原机制，利用临时 Token 安全地在终端之间传递用户参数。
- 审计第三方 SDK 足迹：定期评估所有集成库的大小和编译依赖项，以防止性能瓶颈。
产品与增长策略清单
- 优化转化漏斗：利用非侵入式参数传递框架，在不违反用户隐私准则的情况下维持获客跟踪。
- 实施透明的数据路由：重构用户体验流程，清晰说明外部 AI 处理路径在何时何地被调用。
- 监控 API 工作流延迟：跟踪从初始点击到服务端安装匹配的标准延迟指标，以确认数据连续性。
通过建立这些结构化的准则，开发团队可以在维持运营连续性的同时，将其应用升级至更安全、更合规的架构。
常见问题 (FAQ)
为什么 NVIDIA 选择与 d-Matrix 战略合作而非直接竞争？
为什么 NVIDIA 不自己构建推理 ASIC？
什么是异构解耦推理？它是如何优化云成本的？
与 GPU 相比，d-Matrix 解决了什么问题？
用户从网页跳转到移动 App 时，服务端归因是如何工作的？
为什么移动 App 在注重隐私的环境中需要服务端归因？
工程团队的关键启示
随着 AI 平台越来越依赖混合云推理，开发者需要围绕隐私、透明授权和安全数据路由来重新设计产品。演进中的数据架构要求我们从根本上转变构建和衡量数字体验的方式。随着无状态代理（stateless proxies）和无头爬虫成为网络内容的主流消费方式，传统的客户端归因模型将持续失效。仅依赖标准的 Cookie 和 referrer 已不足以保护驱动用户获取的数据流水线。
NVIDIA 并未取代 GPU，而是重新定义了推理工作负载的部署方式。随着 AI 推理服务逐步超越模型训练，将 GPU 与专用 ASIC 相结合的异构系统极有可能成为企业 AI 基础设施的标准架构。最佳的硬件组合取决于工作负载特性、延迟要求、模型规模和基础设施经济性。虽然异构推理提供了显著的成本优势，但标准架构将继续与专用加速器共同演进。对于移动增长团队而言，采用服务端归因基础设施有助于在日益分散的数字旅程中保留获客洞察。OpoInstall 通过在网页、应用商店和原生应用环境间保留获客上下文，提供了这种归因层支持。
Share this article
