코어위브, 엔비디아의 최신 칩 ‘블랙웰 울트라’ 세계 최초 상용화(2025.07.04)

2025.07.04

주석:블랙웰울트라가 상용화 되었다. 블랙웰울트라는 HBM3E 12단을 사용하며 현재 하이닉스가 독점 공급 중이다.

즉 2025년 하반기 엔비디아의 주력 생산은 블랙웰 울트라가  될 것이고,최대 수혜자는 하이닉스가 될 것이다.

블래웰울트라의 HBM용량은 288GB로 전작인 블랙웰 192GB대비 50% 증가된 용량이다.

 

-----------------------------------------

CoreWeave Rolls Out Nvidia's Blackwell Ultra Chips

CoreWeave, Nvidia의 최신 칩 ‘Blackwell Ultra’ 세계 최초 상용화

 

CoreWeave(티커: CRWV)가 AI 기술 경쟁에서 중대한 선수를 쳤습니다. 이 회사는 Nvidia(티커: NVDA)의 최신 칩인 ‘Blackwell Ultra’를 세계 최초로 상용화한 클라우드 제공업체가 되었다고 목요일 발표했습니다. 이 소식이 전해지자 투자자들은 빠르게 반응했고, CoreWeave 주가는 당일 6% 급등했습니다.

 

 

 

이번 배치는 단순한 기술적 성과를 넘어선 상징적인 선언입니다. Dell(티커: DELL)은 이번에 배치된 AI 시스템을 제작했으며, 이 시스템은 액체 냉각 방식으로 설계되었고, 랙 한 개당 Blackwell Ultra GPU 72개와 Grace CPU 36개라는 강력한 하드웨어로 구성되어 있습니다. Dell 측은 이 시스템들이 단순히 빠르기만 한 것이 아니라, 미국 내에서 조립되고 테스트된 ‘메이드 인 아메리카’ 제품임을 강조했습니다.

 

이번에 도입된 Blackwell Ultra는 단순한 점진적 업그레이드가 아닙니다. Nvidia에 따르면 이 칩은 이전 세대보다 50% 더 많은 AI 콘텐츠를 생성할 수 있다고 합니다. 이는 단순한 마케팅 문구가 아니라, 왜 전 세계의 AI 스타트업부터 수조 달러 규모의 대기업에 이르기까지 이 칩을 확보하려는지 설명해주는 핵심 이유입니다.

 

Nvidia의 최고재무책임자(Colette Kress)는 이전에 이 칩의 출하가 이번 분기 중 시작될 것이라고 밝혔는데, CoreWeave는 남들보다 먼저 손에 넣은 셈입니다.

 

For CoreWeave, this is a big swing and a bigger payoff. The company rents out GPU power to other clouds, AI labs, and researchers; having the latest gear gives it an edge, especially against hyperscale cloud giants like Amazon, Google, and Microsoft. Being small means being nimble; CoreWeave can move faster and that's exactly what it did.

 

The company has always had Nvidia in its corner; Nvidia owns a stake in CoreWeave. Since going public earlier this year, CoreWeave's stock has skyrocketed up 4 from its IPO price; Thursday's move only added to that momentum.

 

CoreWeave에게 이번 행보는 과감한 승부수이자, 그에 상응하는 큰 성과입니다. 이 회사는 GPU 연산 능력을 다른 클라우드 기업, AI 연구소, 연구자들에게 임대하는 사업을 하고 있는데, 최신 장비를 갖췄다는 점은 Amazon, Google, Microsoft 같은 하이퍼스케일 클라우드 거대 기업들과 경쟁하는 데 있어 중요한 우위가 됩니다. 규모가 작다는 건 민첩하다는 뜻이기도 하며, CoreWeave는 그 민첩성을 실제 행동으로 보여줬습니다.

 

또한 CoreWeave는 Nvidia와의 긴밀한 관계를 유지해왔습니다. 실제로 Nvidia는 CoreWeave의 지분을 보유하고 있습니다. 올해 초 상장한 이후 CoreWeave의 주가는 공모가 대비 4배 이상 치솟았으며, 이번 목요일의 상승은 이러한 상승 흐름에 더욱 탄력을 붙였습니다.

 

Nvidia 주가는 약 1% 소폭 상승했고, Dell은 거의 2% 올랐습니다. 그러나 진짜 주인공은 단연 CoreWeave였습니다. 이번 발표는 최첨단 AI 경쟁이 단지 칩 자체에 그치는 것이 아니라, 누가 그것을 가장 먼저 실제로 활용할 수 있는가에 달려 있음을 보여줍니다.

앞으로 이 분야를 주목할 필요가 있습니다. CoreWeave는 이번 행보로 AI 게임의 판을 바꿔버렸을지도 모릅니다.

 

------------------------------------

NVIDIA Grace CPU Superchip | NVIDIA

랙 하나(NVL72 기준)에 총 36개의 Grace CPU가 탑재되어 있는데, 각 CPU마다 최대 480 GB의 LPDDR5X 메모리가 장착될 수 있습니다. NVIDIA 공식 사양에 따르면 GB300 구성에서는 480 GB LPDDR5X 옵션이 일반적입니다 .

 

GB300 NVL72 랙

• 이 랙은
  • Blackwell Ultra GPU 72개,
  • Grace CPU 36개,
  • (Dell 배치는 여기에 BlueField‑3 DPU 36개가 포함됨)
  • 1대의 GB300 랙 = 72 GPU + 36 CPU 구성입니다 theregister.com+15coreweave.com+15nvidia.com+15en.wikipedia.org+4barrons.com+4ir.supermicro.com+4.

 

---------------------------

2025.07.04

CoreWeave Leads the Way with First NVIDIA GB300 NVL72 Deployment

 

CoreWeave에서는 전통적인 방식의 AI 인프라 구축 로드맵을 따르지 않습니다. 우리는 더 빠르고 더 스마트하게 AI 인프라를 개척해 나가고 있습니다.

이미 NVIDIA HGX H100 시스템, NVIDIA H200, 그리고 NVIDIA GB200 NVL72에 업계 최초로 접근을 제공한 AI 클라우드 제공업체로서의 이력을 바탕으로, 이번에는 NVIDIA의 최신 첨단 플랫폼인 NVIDIA GB300 NVL72를 업계 최초로 가동함으로써 AI 혁신의 속도를 더욱 가속화하고 있습니다. 이 시스템은 Dell의 통합 랙 스케일 시스템에 탑재되어 있습니다.

 

AI 추론 및 자율 에이전트 성능의 새로운 기준 제시

NVIDIA GB300 NVL72는 AI 추론 작업에서 성능을 획기적으로 끌어올린 플랫폼으로, 이전 세대인 NVIDIA Hopper 아키텍처 대비 사용자 반응성은 최대 10배, 전력당 처리량은 5배 향상되었습니다. 이는 곧 추론 모델의 출력이 무려 50배 증가했음을 의미하며, 이전보다 훨씬 더 빠르게 더 크고 복잡한 AI 모델을 개발하고 배포할 수 있는 능력을 제공합니다.

 

여기에 1.5배 더 높은 FP4 연산 밀도, 2배 향상된 NVIDIA Quantum-X800 InfiniBand 속도까지 더해져, GB300 NVL72는 차세대 AI 애플리케이션의 기준이 될 전례 없는 추론 속도를 실현합니다.

 

“Moonvalley에서는 창작자들이 상상력을 현실로 구현할 수 있도록 돕는 생성형 영화 제작의 미래를 만들고 있습니다.”
Moonvalley의 공동창립자 겸 CEO 나임 탈룩다르(Naeem Talukdar)는 이렇게 말했습니다.

“CoreWeave에서 GB300을 처음으로 가동하게 된 것은 매우 흥미로운 일입니다. 이 플랫폼과 CoreWeave의 빠른 상용화 역량은 AI 기반 영화 제작을 우리 업계의 현실로 만드는 데 큰 동력이 됩니다.”

 

CoreWeave는 GB300 NVL72의 잠재력을 최대한 끌어낼 수 있도록 설계된 자사 클라우드 플랫폼을 통해 고객들이 AI 개발을 가속화할 수 있도록 지원합니다.

프런티어급 AI 요구에 맞춰 설계된 CoreWeave의 인프라는 수조 개의 파라미터를 가진 초대형 모델을 최고 수준의 성능과 신뢰성, 회복력으로 학습·최적화·배포할 수 있도록 팀을 지원합니다.

 

CoreWeave는 단순히 하드웨어에 그치지 않고, GB300 NVL72의 성능을 최대한으로 끌어올리기 위해 AI 클라우드의 모든 구성 요소를 최적화했습니다.

Kubernetes 기반의 서비스인 CKS(CoreWeave Kubernetes Service), Slurm on Kubernetes(SUNK), 심층적인 가시성(Deep Observability), 그리고 자체 설계한 **Rack LifeCycle Controller(RLCC)**까지 모두 GB300 환경에 맞춰 정밀하게 조정되었습니다.

 

이제 여기에 더해, 랙 단위의 인프라 통찰력을 제공하는 Cabinet Wrangler와 Cabinet Details 대시보드가 새롭게 도입되어 더욱 깊이 있는 모니터링이 가능해졌습니다.

 

또한 하드웨어 수준의 데이터와 클러스터 상태 이벤트가 Weights & Biases 모델에 직접 스트리밍됨으로써, AI 연구자들은 인프라 문제와 학습 과정 간의 연관성을 실시간으로 파악하고, 장애를 신속히 해결하며, AI의 경계를 밀어붙이는 데 다시 집중할 수 있게 되었습니다.

 

CoreWeave만의 독자적인 인프라 접근 방식은 하드웨어 성능을 극대화하는 데 있어 꾸준히 탁월한 효과를 보여주고 있습니다.

 

올해 초, CoreWeave는 자사 클라우드에서 구동된 NVIDIA GB200 NVL72 기반 인스턴스의 성능 벤치마크 결과를 다수 공개했으며, 이 결과는 업계에 큰 반향을 일으켰습니다. AI 작업에 대한 이러한 초집중적 설계 덕분에, GB200 기반 인스턴스는 H100 기반 인스턴스 대비 GPU당 추론 성능이 2.86배 향상되는 성과를 기록했습니다.

 

이제 CoreWeave는 GB300 NVL72를 클라우드 포트폴리오에 통합함으로써, 자사의 최고 수준 인프라와 엔지니어링 전문성을 바탕으로, 가장 까다로운 AI 및 고성능 컴퓨팅(HPC) 애플리케이션에 맞춰 정밀하게 튜닝된 독보적인 플랫폼 경험을 제공합니다.

 

NVIDIA GB300 NVL72 내부 들여다보기

 

CoreWeave의 GB300 NVL72는 가장 까다로운 AI 추론 작업을 처리하기 위해 설계된 랙 스케일의 액체 냉각 기반 플랫폼입니다. 이 시스템은 하나의 통합된 강력한 플랫폼 안에 다음과 같은 NVIDIA의 최첨단 기술들을 결합하고 있습니다:

• NVIDIA Blackwell Ultra GPU 72개
• Arm 기반 NVIDIA Grace CPU 36개
• NVIDIA BlueField-3 DPU 36개

이 모든 구성은 NVIDIA의 업계 최고 혁신 기술들을 토대로 구동되며, AI 추론 및 고성능 연산에 있어 새로운 기준을 제시합니다.

 

NVIDIA GB300 NVL72의 핵심 구성 요소

▪️ NVIDIA Blackwell Ultra GPU
Blackwell Ultra GPU는 기존 Blackwell GPU 대비 **1.5배 더 높은 AI 연산 성능(FLOPS)**을 제공합니다. 이는 더 복잡한 모델과 더 빠른 추론을 가능하게 합니다.

▪️ 확장된 HBM3e 메모리
랙 전체 기준 최대 21TB의 고대역폭 GPU 메모리를 지원하며, 이는 GB200 NVL72 대비 1.5배 증가한 용량입니다. 이로 인해 훨씬 더 큰 배치 사이즈와 대규모 모델 실행이 가능해져, AI 추론 처리량을 극대화할 수 있습니다.

▪️ 5세대 NVIDIA NVLink
최신 NVLink는 총 130TB/s의 집계 대역폭을 제공하여, 시스템 내 모든 GPU 간에 지연 없는 초고속 통신이 가능하게 만듭니다. 이를 통해 대규모 AI 모델의 성능이 극대화됩니다.

▪️ 차세대 InfiniBand 네트워킹
플랫폼에는 NVIDIA Quantum-X800 InfiniBand 스위치와 NVIDIA ConnectX‑8 SuperNIC가 탑재되어 있으며, 각 GPU당 800Gb/s의 전용 네트워크 대역폭을 제공합니다. 이는 대규모 AI 워크로드에서 최적의 원격 메모리 접근(RDMA)을 실현합니다.

▪️ 보안성과 멀티테넌시 지원 클라우드 네트워킹
NVIDIA DOCA 소프트웨어 프레임워크는 BlueField‑3 DPU 위에서 실행되며,

• 최대 200Gb/s 속도의 테넌트 네트워킹,
• 고성능 GPU 데이터 접근을 통해 AI 워크로드를 하드웨어 수준에서 가속화합니다.

이처럼 GB300 NVL72는 컴퓨팅, 메모리, 네트워킹, 보안 전 부문에서 차세대 AI 요구에 맞춘 통합형 솔루션입니다.

 

이 시스템은 최첨단 AI 모델을 배포하는 데 핵심적인 요소인 **테스트 타임 스케일링 추론(test-time scaling inference)**의 막대한 연산 요구를 처리할 수 있도록 설계되었습니다.

CoreWeave 고객에게 이는 곧, AI 추론 작업에서 성능이 비약적으로 향상된다는 것을 의미합니다.

 

 

Built in collaboration with our partners

Pioneering the future of AI infrastructure is a team sport. While our teams at CoreWeave work tirelessly to engineer and integrate these platforms, our success is only possible because of our diverse partner ecosystem, which operates with the same levels of urgency and vision. Our joint collaboration with Dell Technologies, Switch, and Vertiv on this deployment of the NVIDIA GB300 NVL72 is fundamental to our speed and agility, providing the critical support we need to turn groundbreaking technology into a reality for our customers at an unprecedented pace.

 

파트너들과의 협업으로 탄생한 AI 인프라

AI 인프라의 미래를 개척하는 일은 혼자 할 수 있는 일이 아닙니다. CoreWeave의 팀들이 이러한 플랫폼을 설계하고 통합하기 위해 끊임없이 노력하고 있지만, 우리의 성공은 같은 열정과 비전을 공유하는 다양한 파트너 생태계가 있었기에 가능했습니다.

이번 NVIDIA GB300 NVL72 도입 프로젝트는 Dell Technologies, Switch, Vertiv와의 긴밀한 협력을 바탕으로 진행되었으며, 이러한 협업이 CoreWeave의 속도와 민첩성을 가능하게 하는 핵심 요인이 되었습니다.

이들은 첨단 기술을 고객에게 실현 가능한 현실로 바꾸는 데 필요한 결정적인 지원을 제공해 주었고, 우리는 그 덕분에 전례 없는 속도로 혁신을 구현할 수 있었습니다.

 

The future of AI is now

This first deployment of the NVIDIA GB300 NVL72 on CoreWeave’s cloud is just the beginning of a much bigger story. As AI models continue to rapidly grow in size and complexity, the need for purpose-built AI infrastructure will only continue to grow at the same pace. We are excited to drive this transformation, empowering the planet’s leading AI labs and enterprises to continuously push the boundaries of what’s possible.

Stay tuned for more updates as we move towards broader availability. The next generation of AI is here, and it’s being built on CoreWeave.

 

 

AI의 미래는 이미 시작되었습니다

CoreWeave 클라우드에서 NVIDIA GB300 NVL72를 최초로 도입한 이번 사례는, 훨씬 더 큰 이야기의 서막에 불과합니다.
AI 모델이 계속해서 더 크고, 더 복잡해지는 만큼, 이를 뒷받침할 전용 AI 인프라에 대한 수요도 같은 속도로 폭발적으로 증가할 것입니다.

우리는 이 변화를 선도하게 되어 매우 기쁘며, 전 세계 최고의 AI 연구소들과 기업들이 기술의 한계를 뛰어넘도록 지원하는 데 앞장서고 있습니다.

앞으로 더 많은 고객들이 사용할 수 있도록 확대 적용이 진행 중이니, 앞으로의 업데이트도 기대해 주세요.
차세대 AI의 시대는 이미 시작되었고, 그 중심에는 CoreWeave가 있습니다.

 

-----------------

2025.03.18

NVIDIA Blackwell Ultra AI Factory Platform Paves Way for Age of AI Reasoning | NVIDIA Newsroom

NVIDIA Blackwell Ultra AI 팩토리 플랫폼, AI 추론 시대의 서막을 열다

 

세계 유수의 컴퓨터 제조업체, 클라우드 서비스 제공업체, GPU 클라우드 기업들이 AI 학습 및 테스트 타임 추론(test-time scaling inference) 성능을 대폭 향상시키며, 단순한 추론을 넘어 자율 에이전트형 AI 및 물리적 AI로의 도약을 준비하고 있습니다.

 

또한 NVIDIA는 새로운 오픈소스 추론 소프트웨어 ‘Dynamo Inference’를 공개, 이를 통해 AI 추론 서비스의 처리량(throughput)을 비약적으로 높이고, 응답 속도를 향상시키며, 총소유비용(TCO)을 절감할 수 있도록 지원합니다.

 

아울러, AI 인프라를 위한 NVIDIA Spectrum-X 기반의 고성능 800G 이더넷 네트워킹은 **지연(latency)과 지터(jitter)**를 획기적으로 줄여줌으로써, 대규모 AI 워크로드의 효율을 한층 끌어올립니다.

 

GTC—NVIDIA, ‘AI 추론 시대’를 여는 차세대 플랫폼 Blackwell Ultra 발표

NVIDIA는 오늘 **Blackwell AI 팩토리 플랫폼의 차세대 버전인 ‘Blackwell Ultra’**를 공개하며, AI 추론(AI Reasoning) 시대의 서막을 알렸습니다.

 

Blackwell Ultra는 **AI 학습(training)**과 테스트 타임 추론(test-time scaling inference) 성능을 대폭 강화하여, 추론 시 더 많은 연산을 적용해 정확도를 높이는 작업을 가속화할 수 있도록 설계되었습니다. 이를 통해 전 세계 기업들이 AI 추론, 자율 에이전트형 AI, 물리 기반 AI와 같은 첨단 애플리케이션을 더욱 빠르게 구현할 수 있게 됩니다.

 

이번에 발표된 Blackwell Ultra는 1년 전 공개된 혁신적인 Blackwell 아키텍처를 기반으로 하며, 다음과 같은 핵심 시스템으로 구성됩니다:

• NVIDIA GB300 NVL72 랙 스케일 솔루션
• NVIDIA HGX™ B300 NVL16 시스템

이 중 GB300 NVL72는 기존 GB200 NVL72 대비 1.5배 높은 AI 성능을 제공하며, NVIDIA Hopper™ 기반 AI 팩토리 대비 최대 50배의 수익 기회를 창출할 수 있는 것으로 평가됩니다.

 

엔비디아의 창립자이자 CEO인 젠슨 황(Jensen Huang)은 다음과 같이 말했습니다:

“AI는 이제 거대한 도약을 이루었습니다. 추론과 에이전트형 AI는 기하급수적으로 더 강력한 컴퓨팅 성능을 요구합니다.
우리는 바로 이 순간을 위해 Blackwell Ultra를 설계했습니다.
이 플랫폼은 사전 학습(pretraining), 후처리(post-training), AI 추론까지 모두 유연하고 효율적으로 수행할 수 있는 단일 범용 플랫폼입니다.”

 

NVIDIA Blackwell Ultra, AI 추론을 가능케 하다

NVIDIA GB300 NVL72는 72개의 Blackwell Ultra GPU와 36개의 Arm Neoverse 기반 NVIDIA Grace™ CPU를 하나의 랙에 통합한 구조로, 마치 초대형 단일 GPU처럼 동작하는 랙 스케일 플랫폼입니다. 이 시스템은 테스트 타임 스케일링을 위해 설계되었으며, AI 모델이 복잡한 문제를 다양한 방식으로 탐색하거나 여러 단계로 세분화하여 고품질의 응답을 생성할 수 있도록 막대한 연산 자원을 제공합니다.

 

또한 GB300 NVL72는 NVIDIA의 DGX™ Cloud에서도 제공될 예정입니다.
DGX Cloud는 주요 클라우드에서 운영되는 엔드 투 엔드 완전관리형 AI 플랫폼으로, 소프트웨어·서비스·전문 AI 기술을 결합해 다양한 AI 워크로드에 최적화된 성능을 제공합니다.

 

더불어 **NVIDIA DGX SuperPOD™**는 DGX GB300 시스템과 GB300 NVL72 랙 설계를 기반으로, 고객이 손쉽게 사용할 수 있는 턴키(즉시 사용 가능한) AI 팩토리를 제공합니다.

 

NVIDIA HGX B300 NVL16, 복잡한 AI 추론을 위한 획기적 성능 제공

HGX B300 NVL16는 기존 Hopper 세대 대비

• 대규모 언어 모델 추론 성능 11배 향상,
• 연산 성능 7배 증가,
• 메모리 용량 4배 확대
  를 통해, 가장 복잡한 AI 워크로드—특히 AI 추론 분야에서 획기적인 성능을 발휘합니다.

또한, Blackwell Ultra 플랫폼은 다음과 같은 분야에 이상적인 솔루션입니다:

Agentic AI (에이전트형 AI)

복잡하고 다단계적인 문제를 자율적으로 추론하고 계획을 세워 해결하는 AI 시스템입니다.
이들은 단순히 지시를 따르는 수준을 넘어, **추론(reasoning), 계획(planning), 실행(action)**을 통해 특정 목표를 달성할 수 있습니다.

Physical AI (물리 기반 AI)

로봇이나 자율주행차 등과 같은 실제 세계 응용 분야에서 활용할 수 있도록,
합성(synthetic) 및 실사 수준의 동영상을 실시간으로 생성하는 기술입니다.
대규모 데이터셋을 필요한 만큼 생성할 수 있어, 실제 물리 환경에서의 학습을 가능하게 합니다.

 

NVIDIA의 확장형 인프라, AI 성능 극대화를 위한 기반

AI 인프라에서 **고성능 확장형 네트워킹(scale-out infrastructure)**은 단순한 기술적 요소를 넘어, 전반적인 성능을 극대화하고 지연(latency)과 지터(jitter)를 줄이는 데 필수적인 역할을 합니다. NVIDIA의 Blackwell Ultra 시스템은 이러한 요구에 최적화된 형태로 설계되었습니다.

 

Blackwell Ultra는 NVIDIA Spectrum-X™ 이더넷과 NVIDIA Quantum-X800 InfiniBand 네트워크 플랫폼과 원활하게 통합되며, 시스템에 포함된 각 GPU는 800Gb/s의 대역폭을 처리할 수 있습니다. 이를 가능하게 해주는 핵심 부품은 NVIDIA ConnectX®‑8 SuperNIC이며, 이 덕분에 AI 팩토리나 클라우드 데이터센터에서도 **원격 직접 메모리 접근(RDMA)**을 통해 병목 없이 대규모 AI 추론 모델을 안정적으로 운용할 수 있습니다.

 

또한 Blackwell Ultra에는 NVIDIA BlueField®‑3 DPU도 함께 탑재되어 있어, 멀티테넌시 환경에서의 네트워크 효율성, GPU 연산 자원의 유연한 활용(탄력성), 고속 데이터 접근, 실시간 사이버 보안 위협 탐지 기능 등을 지원합니다.

 

이러한 구성은 Blackwell Ultra가 단지 연산 성능에만 그치지 않고, AI 인프라 전반에서 안정성, 확장성, 보안성까지 아우르는 차세대 플랫폼이라는 점을 보여줍니다. AI 추론(AI reasoning), 자율 에이전트형 AI, 물리 기반 AI 등 고도화되는 AI 워크로드에 최적화된 인프라로, 기업들이 미래의 AI 혁신을 현실로 구현할 수 있도록 강력한 기반을 제공합니다.

 

글로벌 기술 리더들, Blackwell Ultra 채택 가속화

Blackwell Ultra 기반 제품들은 2025년 하반기부터 파트너사들을 통해 출시될 예정입니다.

 

Cisco, Dell Technologies, Hewlett Packard Enterprise(HPE), Lenovo, Supermicro를 비롯해,
Aivres, ASRock Rack, ASUS, Eviden, Foxconn, GIGABYTE, Inventec, Pegatron, QCT(Quanta Cloud Technology), Wistron, Wiwynn 등 다양한 기업들이 Blackwell Ultra 기반 서버를 제공할 계획입니다.

 

또한, Amazon Web Services(AWS), Google Cloud, Microsoft Azure, Oracle Cloud Infrastructure 등 주요 클라우드 서비스 업체와,
CoreWeave, Crusoe, Lambda, Nebius, Nscale, Yotta, YTL 같은 GPU 클라우드 제공업체들 역시 Blackwell Ultra 기반 인스턴스를 가장 먼저 시장에 선보일 예정입니다.

 

이처럼 글로벌 기술 리더들이 대거 참여함으로써, Blackwell Ultra는 차세대 AI 인프라의 핵심 플랫폼으로 빠르게 자리 잡아가고 있습니다.

 

NVIDIA, AI 병목 현상을 줄이기 위한 소프트웨어 혁신 발표

NVIDIA는 Blackwell 제품군 전체를 풀스택 NVIDIA AI 플랫폼으로 지원하며, 하드웨어뿐 아니라 소프트웨어 측면에서도 성능을 극대화하기 위한 혁신을 이어가고 있습니다.

 

같은 날 함께 발표된 **오픈소스 추론 프레임워크 'NVIDIA Dynamo'**는 이러한 전략의 핵심입니다.
이 프레임워크는 AI 추론 서비스를 확장하는 데 최적화된 솔루션으로,

• 추론 처리량(throughput)을 대폭 향상시키고,
• 응답 시간(response time)을 단축하며,
• 모델 서빙 비용까지 절감할 수 있게 해줍니다.

특히 Dynamo는 **테스트 타임 컴퓨팅(test-time compute)**을 효과적으로 확장할 수 있도록 설계되어,
AI 추론 과정에서 발생할 수 있는 병목 현상을 최소화하고, 보다 빠르고 효율적인 AI 서비스 제공을 가능하게 합니다.

이로써 NVIDIA는 하드웨어-소프트웨어 통합 전략을 통해 AI 인프라 전반에서 최고 수준의 성능과 효율성을 실현하고 있습니다.

 

NVIDIA, 추론형 AI 수익 극대화를 위한 새로운 소프트웨어 ‘Dynamo’ 공개

NVIDIA Dynamo는 AI 팩토리에서 추론형 AI 모델을 배포할 때 토큰 수익(token revenue)을 극대화할 수 있도록 설계된 신규 AI 추론 서빙 소프트웨어입니다.

이 소프트웨어는 수천 개의 GPU에 걸친 추론 통신을 효율적으로 조율하고 가속화하며, ‘비결합 서빙(disaggregated serving)’ 방식을 통해 대규모 언어 모델의 **처리 단계(processing)**와 **생성 단계(generation)**를 서로 다른 GPU에서 분리해 실행합니다.

 

이를 통해,

• 각 단계에 최적화된 하드웨어 및 리소스 할당이 가능해지고,
• GPU 자원을 가장 효율적으로 활용할 수 있으며,
• AI 추론 과정의 성능을 극대화할 수 있습니다.

결과적으로 Dynamo는 성능, 효율성, 수익성을 모두 끌어올리는 AI 팩토리 전용 서빙 솔루션으로, 차세대 추론형 AI 모델 운영의 핵심 도구로 자리잡을 전망입니다.

 

Blackwell 시스템, 최신 AI 모델과 엔터프라이즈 환경에 최적화

NVIDIA Blackwell 시스템은 최신 NVIDIA Llama Nemotron Reason 모델과 NVIDIA AI-Q Blueprint를 구동하기에 이상적인 플랫폼으로,
이들은 모두 기업용 AI 환경에 특화된 소프트웨어 플랫폼인 NVIDIA AI Enterprise에서 지원됩니다.

 

NVIDIA AI Enterprise는 다음과 같은 구성 요소를 포함합니다:

• NVIDIA NIM™ 마이크로서비스,
• 다양한 AI 프레임워크와 라이브러리,
• NVIDIA 가속 인프라(클라우드, 데이터센터, 워크스테이션)에 쉽게 배포 가능한 AI 개발 도구들

또한 Blackwell 플랫폼은 NVIDIA가 구축해 온 강력한 개발 생태계를 기반으로 합니다.

• NVIDIA CUDA-X™ 라이브러리,
• 600만 명 이상의 개발자,
• 4,000개 이상의 AI 애플리케이션
  이 이미 수천 개의 GPU에 걸쳐 확장 가능한 성능을 구현하고 있습니다.

더 많은 정보를 원한다면, NVIDIA GTC 기조연설 영상을 시청하거나, 3월 21일까지 진행되는 GTC 행사에 등록해 NVIDIA 및 업계 리더들의 세션에 참여해보세요.
이번 Blackwell 플랫폼은 단지 성능을 넘어서, 실제 비즈니스 환경에 적용 가능한 AI 인프라의 미래를 제시하고 있습니다.