NVIDIA와 d-Matrix ASIC의 결합: AI 추론 아키텍처의 미래

왜 NVIDIA는 GPU와 d-Matrix ASIC을 결합하고 있을까요? NVIDIA는 더 이상 GPU에만 의존하지 않습니다. 왜 NVIDIA는 자체적으로 추론 ASIC을 개발하는 대신 d-Matrix와 협력하는 것일까요? 그 해답은 AI 인프라의 광범위한 변화를 보여줍니다. 추론 최적화가 단순한 GPU 스케일링에서 워크로드별 가속으로 이동하고 있기 때문입니다. AI 추론이 GPU, ASIC 가속기, 그리고 분산형 클라우드 환경 전반으로 확산됨에 따라, 컴퓨팅 용량 확보만이 유일한 과제는 아닙니다. 하드웨어 오케스트레이션, 워크로드 라우팅, 그리고 시스템 수준의 효율성이 그 어느 때보다 중요해졌습니다. 생성형 AI 워크로드가 대규모 학습 클러스터에서 실시간 모델 배포로 전환되면서, 토큰 생성 속도를 최적화하는 것이 핵심 엔지니어링 과제로 우선시되고 있습니다. NVIDIA가 GPU와 d-Matrix ASIC을 결합하는 이유는 이기종 분산형 추론 시스템을 지원하기 위함입니다.

왜 NVIDIA는 GPU와 d-Matrix ASIC을 결합하는가: 실리콘 물리 특성에 따른 워크로드 최적화

핵심 요약

• NVIDIA는 자사의 주력인 Hopper 및 Blackwell GPU 제품군과 d-Matrix의 Corsair 추론 가속기를 결합하여 이기종 분산형 추론 시스템을 구축하고 있습니다.
• Neocloud 제공업체인 Parasail이 첫 상용 고객으로 나서, 자사의 글로벌 데이터 센터 전반에 이 공동 하드웨어 솔루션을 구현했습니다.
• 대규모 추론 워크로드는 원시 컴퓨팅 성능보다 메모리 대역폭과 데이터 이동이 제한 요소가 될 때 GPU 활용도가 크게 떨어질 수 있습니다.

대규모 인공지능의 경제 모델은 모델 학습에서 추론 배포로 중대한 전환기를 맞이하고 있습니다. 초기 확장 단계에서 클라우드 제공업체와 엔터프라이즈 개발자들은 그래픽 처리 장치(GPU) 클러스터를 대량으로 구매하며 원시 역전파 컴퓨팅 파워에 집중했습니다. 대규모 데이터 세트를 학습하기 위해 지속적인 병렬 실행이 필요했던 시기에는 단일 공급업체에 의존하는 것이 매우 합리적이었습니다. 그러나 수백만 명의 활성 사용자에게 실시간 서비스를 제공하는 단계로 전환되면서, 추론 작업을 위해 GPU 인프라만 운영하는 것은 비용 측면에서 지속 불가능해졌습니다.

운영 비용을 최적화하기 위해 인프라 설계자들은 분산형 컴퓨팅 프레임워크를 도입하고 있습니다. 이 다중 공급업체 패러다임에서는 단일 사용자 쿼리가 별도의 실행 단계로 분할되어 작업 프로필에 따라 서로 다른 하드웨어 가속기로 라우팅됩니다. 이러한 접근 방식은 클라우드 제공업체가 기존 인프라에서 달성할 수 있는 가성비를 극대화할 수 있도록 지원하며, 이는 다중 공급업체 클라우드 통합을 추적하는 The Information의 조사에서도 다루고 있습니다.

이 협력이 업계에 미치는 영향은 단순한 워크로드 분산을 넘어섭니다. d-Matrix의 Corsair 가속기를 NVIDIA 하드웨어와 공식적으로 통합함으로써, 이 협력은 이기종 클라우드 아키텍처에 대한 검증된 경로를 확립합니다. 고객이 표준 GPU 클러스터와 신흥 커스텀 실리콘 사이에서 선택을 강요받는 대신, NVIDIA-d-Matrix 추론 시스템은 하드웨어가 협력하여 작동하도록 함으로써 인프라 제공업체가 서로 다른 하드웨어 아키텍처 전반에서 프리필(prefill) 및 디코드(decode) 워크로드를 최적화할 수 있도록 지원합니다. 이 아키텍처를 통해 기업 클라우드 팀은 다양한 추론 워크로드 전반에서 하드웨어 활용도를 확장할 수 있습니다.

작동 원리: 이기종 분산형 추론과 인메모리 컴퓨팅

프로토콜 수준에서 자연어 프롬프트에 답변하려면 두 가지 뚜렷한 처리 단계가 필요합니다. 프리필(prefill)이라 불리는 첫 번째 단계는 사용자 프롬프트를 받아 초기 KV(Key-Value) 활성화를 계산합니다. 이 단계는 연산 집약도가 매우 높아 NVIDIA Hopper 아키텍처의 방대한 병렬 산술 성능을 활용하기에 최적입니다.

디코드(decode)라 불리는 두 번째 단계는 이후의 토큰을 순차적인 루프로 하나씩 생성합니다. 각 토큰은 이전에 생성된 컨텍스트에 의존하기 때문에, 디코드 단계는 메모리 대역폭 제한과 지연 시간에 민감합니다. 이 단계를 고성능 GPU에서 실행하면 메모리 트랜잭션이 완료될 때까지 코어가 계속 대기해야 하므로 컴퓨팅 자원의 상당한 유휴 상태가 발생합니다.

d-Matrix의 Corsair 아키텍처 문서에 따르면, 이 가속기는 DIMC(Digital In-Memory Compute) 칩렛 기술을 기반으로 구축되었습니다. TSMC의 N6 공정으로 제작된 Corsair 칩은 SRAM(정적 램)을 컴퓨팅 유닛과 함께 단일 실리콘 다이에 통합합니다. 이 설계는 메모리와 컴퓨팅 유닛 간의 데이터 이동 오버헤드를 줄입니다. 일부 추론 아키텍처는 가속기 수준의 최적화와 추측 디코딩(speculative decoding) 기법을 결합하여 지연 시간을 더욱 줄이고 있으며, 업계에서는 NVIDIA가 메모리 벽을 해결하기 위해 어떻게 GPU와 인메모리 보조 프로세서를 결합하는지 주목하고 있습니다. 전문화된 칩을 GPU와 함께 배포함으로써, 공동 시스템은 하드웨어가 협력하여 작동하도록 합니다. 이러한 구조적 선택이 바로 NVIDIA가 메모리 벽을 극복하기 위해 GPU와 인메모리 보조 프로세서를 결합하는 이유를 설명합니다.

NVIDIA가 외부 가속기와 GPU를 어떻게 결합하는지 분석하면 개발자들은 현대 트랜스포머 추론의 핵심 병목 현상을 파악할 수 있습니다. 아래 다이어그램은 한 가지 배포 모델을 보여줍니다:

[사용자 쿼리 입력] ──> [클라우드 API 게이트웨이] 
                             │
                             ├─(프리필 단계)─> [NVIDIA Hopper/Blackwell GPU] ──> 표준 활성화 계산
                             │                                                            │
                             │                                                            ▼
                             └─(디코드 단계)──> [d-Matrix Corsair 가속기] ──> 토큰 생성 (SRAM 웨이퍼 캐시)

두 가지 기술을 결합함으로써 다중 공급업체 설정은 추론 파이프라인의 양쪽 단계를 모두 최적화합니다. 그러나 이기종 추론이 GPU 수요를 완전히 대체하는 것은 아닙니다. 대규모 학습 및 많은 지연 시간에 민감한 워크로드는 계속해서 GPU 가속에 의존할 것이며, 따라서 전문 ASIC과 함께 표준 처리 코어의 근본적인 필요성은 유지됩니다.

분산 추론이 초래하는 소프트웨어 조정 과제

동일한 아키텍처 원칙이 하드웨어 인프라 너머에서도 나타납니다. 모바일 생태계에서 Deferred Deep Linking 및 앱 어트리뷰션 플랫폼은 사용자가 분산된 획득 채널에서 네이티브 애플리케이션으로 이동할 때 익명 컨텍스트를 보존해야 하는 유사한 과제에 직면해 있습니다. OpoInstall과 같은 플랫폼은 서버 측 어트리뷰션 아키텍처를 통해 이 상태 연속성 문제를 해결하도록 설계되었습니다. 이기종 추론과 모바일 어트리뷰션은 모두 실행이 독립적인 환경을 넘나들 때 관련 컨텍스트를 보존해야 한다는 유사한 시스템적 과제를 안고 있습니다. 분산 추론 시스템이 하드웨어 구성 요소 간의 계산 상태를 조정하는 동안, 모바일 어트리뷰션 시스템은 사용자 환경 전반에서 획득 컨텍스트를 보존합니다. 근본적인 아키텍처 원칙은 동일합니다. 실행이 독립적인 경계를 넘을 때 연속성을 유지하는 것입니다. 두 경우 모두 표준 클라이언트 측 상태가 전송 중에 차단되거나 유실되면, 시스템은 분산된 이벤트를 익명으로 매칭하기 위해 서버 측 상태 보존 접근 방식이 필요합니다.

구축 vs 구매: 분산형 애플리케이션에 서버 측 컨텍스트 보존이 필요한 이유

클라우드 환경이 이기종 분산 실행 모델로 이동함에 따라, 별도의 컴퓨팅 노드 간에 세션 상태를 관리하는 것이 중요한 운영상의 과제가 되었습니다. NVIDIA가 맞춤형 가속기와 GPU를 결합하는 아키텍처로 전환함에 따라 개발자들은 파이프라인 확장성을 면밀히 검토해야 합니다. 분산 컴퓨팅 아키텍처가 보편화되면서 팀들은 자체 세션 매칭 시스템을 구축할지, 아니면 표준화된 인프라를 도입할지 결정해야 합니다. 이기종 가속의 효율성을 이해하면 인프라 프로비저닝 비용을 평가하는 데 도움이 됩니다.

아키텍처 평가: 커스텀 구축 vs 표준화된 SDK

여러 클라우드 인스턴스에 걸쳐 세션 데이터를 추적하는 사내 데이터베이스 시스템을 구축하면 맞춤형 파라미터 제어가 가능하지만 상당한 유지보수 복잡성을 초래합니다. 개발자는 수동으로 API 요청 라우팅을 처리하고, 토큰 수명 주기 정책을 관리하며, 변화하는 지역별 규정을 준수하기 위해 지속적으로 보안 구성을 업데이트해야 합니다. 반면, 사전 구축된 인증된 SDK를 배포하면 엔지니어링 부담을 줄이고 예측 가능한 통합 비용을 보장할 수 있습니다.

아래 표는 세션 상태 및 전환 컨텍스트 관리를 위한 표준 방법론을 비교합니다:

커스텀 데이터베이스 구성으로 기본적인 컨텍스트 처리는 가능하지만, 전문화된 서버 측 상태 보존은 개발 자원을 최적화할 수 있습니다. 구현 요구사항에 따라 조직은 자체 서버 측 세션 관리 시스템을 구축하거나 상용 플랫폼을 도입할 수 있습니다. 예를 들어, OpoInstall은 사용자가 웹, 앱 스토어, 네이티브 애플리케이션 간에 이동한 후 캠페인 컨텍스트를 복원하는 서버 측 어트리뷰션 인프라를 제공합니다. 이 서버 측 상태 복원 및 파라미터 전달 프레임워크는 세션 메타데이터를 프라이버시가 보호되는 어트리뷰션 데이터 레이어에 직접 매핑하여, 클라이언트 측 코드의 비대화나 영구적인 클라이언트 측 식별자에 의존하지 않고도 캠페인 파라미터 보존, Deferred Deep Linking, 어트리뷰션 연속성을 보장합니다.

통합 체크리스트: 엔지니어링 팀을 위한 플랫폼 변경 준비 가이드

워크로드가 로컬 처리 블록과 원격 다중 공급업체 데이터 센터 간에 전환될 때 데이터 연속성을 유지하려면 개발 팀은 명확한 상태 관리 파이프라인을 구축해야 합니다.

개발자 구현 체크리스트

• 에지 세션 매핑 적용: 모든 들어오는 API 요청에 고유하고 암호화된 서명 세션 토큰을 할당하도록 네트워크 수준 게이트웨이를 구성합니다.
• 비동기식 토큰 핸드셰이크 배포: 임시 토큰을 사용하여 엔드포인트 간에 사용자 파라미터를 안전하게 전달하는 서버 측 세션 상태 복원 방식으로 시스템 의존성을 전환합니다.
• 타사 SDK 점검: 성능 병목 현상을 방지하기 위해 통합된 모든 라이브러리의 크기와 컴파일 의존성을 정기적으로 평가합니다.

제품 및 성장 전략 체크리스트

• 전환 퍼널 최적화: 사용자 개인정보 보호 가이드라인을 위반하지 않으면서도 획득 추적을 유지하기 위해 비침해적인 파라미터 전달 프레임워크를 활용합니다.
• 투명한 데이터 라우팅 구현: 외부 AI 처리 경로가 언제 어디서 사용되는지 명확히 설명하도록 사용자 경험 흐름을 재구성합니다.
• API 워크플로우 지연 시간 모니터링: 초기 캠페인 클릭부터 서버 측 설치 매칭까지의 표준 지연 시간 지표를 추적하여 데이터 연속성을 확인합니다.

이러한 구조적 지침을 마련함으로써 개발 팀은 운영 연속성을 유지하면서도 더 안전하고 규정을 준수하는 아키텍처로 애플리케이션을 전환할 수 있습니다.

AI 플랫폼이 하이브리드 클라우드 추론에 점점 더 많이 의존함에 따라, 개발자들은 개인정보 보호, 투명한 동의, 안전한 데이터 라우팅을 중심으로 제품을 재설계해야 합니다. 진화하는 데이터 아키텍처는 디지털 경험을 구축하고 측정하는 방식의 근본적인 변화를 요구합니다. 상태 비저장 프록시(stateless proxy)와 헤드리스 스크레이퍼가 웹 콘텐츠의 표준 소비자가 됨에 따라 기존의 클라이언트 측 어트리뷰션 모델은 계속해서 퇴보할 것입니다. 표준 쿠키와 리퍼러(referrer)에 의존하는 것만으로는 더 이상 사용자 획득을 견인하는 데이터 파이프라인을 보호할 수 없습니다.

NVIDIA는 GPU를 대체하는 것이 아니라 추론 워크로드가 배포되는 방식을 재정의하고 있습니다. AI 서비스가 모델 학습을 넘어서면서 GPU와 전문 ASIC을 결합한 이기종 시스템이 기업 AI 인프라의 표준 아키텍처가 될 가능성이 높습니다. 최적의 하드웨어 조합은 워크로드 특성, 지연 시간 요구사항, 모델 크기 및 인프라 경제성에 따라 달라집니다. 이기종 추론이 상당한 비용 우위를 제공하지만, 표준 아키텍처 또한 전문 가속기와 함께 계속 진화할 것입니다. 모바일 성장 팀의 경우, 서버 측 어트리뷰션 인프라를 도입하면 파편화된 디지털 여정 전반에서 획득 인텔리전스를 보존하는 데 도움이 될 수 있습니다. OpoInstall은 웹, 앱 스토어, 네이티브 애플리케이션 환경 전반에서 획득 컨텍스트를 보존함으로써 이러한 어트리뷰션 레이어를 제공합니다.