NVIDIA GB300 "Blackwell Ultra" Will Feature 288 GB HBM3E Memory, 1400 W TDP

by AleksandarK Dec 23rd, 2024 21:23 Discuss (10 Comments)

NVIDIA "Blackwell" series is barely out with B100, B200, and GB200 chips shipping to OEMs and hyperscalers, but the company is already setting in its upgraded "Blackwell Ultra" plans with its upcoming GB300 AI server. According to UDN, the next generation NVIDIA system will be powered by the B300 GPU chip, operating at 1400 W and delivering a remarkable 1.5x improvement in FP4 performance per card compared to its B200 predecessor. One of the most notable upgrades is the memory configuration, with each GPU now sporting 288 GB of HBM3e memory, a substantial increase from the previous 192 GB of GB200. The new design implements a 12-layer stack architecture, advancing from the GB200's 8-layer configuration. The system's cooling infrastructure has been completely reimagined, incorporating advanced water cooling plates and enhanced quick disconnects in the liquid cooling system.

Networking capabilities have also seen a substantial upgrade, with the implementation of ConnectX 8 network cards replacing the previous ConnectX 7 generation, while optical modules have been upgraded from 800G to 1.6T, ensuring faster data transmission. Regarding power management and reliability, the GB300 NVL72 cabinet will standardize capacitor tray implementation, with an optional Battery Backup Unit (BBU) system. Each BBU module costs approximately $300 to manufacture, with a complete GB300 system's BBU configuration totaling around $1,500. The system's supercapacitor requirements are equally substantial, with each NVL72 rack requiring over 300 units, priced between $20-25 per unit during production due to its high-power nature. The GB300, carrying Grace CPU and Blackwell Ultra GPU, also introduces the implementation of LPCAMM on its computing boards, indicating that the LPCAMM memory standard is about to take over servers, not just laptops and desktops. We have to wait for the official launch before seeing LPCAMM memory configurations.

NVIDIA GB300 "Blackwell Ultra" – 288GB HBM3E 메모리, 1400W TDP

엔비디아의 "블랙웰(Blackwell)" 시리즈가 B100, B200, GB200 칩을 OEM 및 하이퍼스케일러 업체에 출하한 지 얼마 되지 않았지만, 회사는 이미 업그레이드된 "블랙웰 울트라(Blackwell Ultra)" 계획을 진행하고 있으며, 이를 기반으로 한 차세대 GB300 AI 서버를 준비하고 있다.

대만 매체 UDN에 따르면, GB300 시스템은 B300 GPU 칩을 기반으로 하며, 1400W의 소비 전력으로 구동되며, 기존 B200 대비 FP4 연산 성능이 1.5배 향상될 전망이다.

GB300의 주요 업그레이드 사항

1. 메모리 증가: 288GB HBM3E 탑재

GB300 GPU는 288GB의 HBM3E 메모리를 장착, 이는 기존 GB200(192GB) 대비 50% 증가한 용량이다.
12층 스택(Stack) 아키텍처를 도입하여, 기존 GB200의 8층 스택 대비 메모리 밀도를 대폭 향상시켰다.

2. 냉각 시스템 대폭 개선

고급 수냉(Water Cooling) 플레이트 및 개선된 액체 냉각 시스템을 도입하여 발열 관리 성능을 향상.
빠른 연결이 가능한 퀵 디스커넥트(Quick Disconnect) 기술을 추가하여 유지보수 효율성을 높임.

3. 네트워킹 속도 2배 향상

기존 ConnectX-7 네트워크 카드 → ConnectX-8로 업그레이드.
광 모듈(Optical Module) 속도 **800G → 1.6T(테라비트)**로 개선하여 데이터 전송 속도를 대폭 증가.

4. 전력 관리 및 신뢰성 강화

GB300 NVL72 캐비닛에는 표준화된 커패시터 트레이(Capacitor Tray) 시스템이 도입될 예정.
배터리 백업 장치(BBU, Battery Backup Unit) 시스템 추가 가능
- 각 BBU 모듈의 제조 비용: 약 $300
- GB300 전체 시스템의 BBU 구성 비용: 약 $1,500
NVL72 랙에는 300개 이상의 슈퍼커패시터(Supercapacitor) 필요, 개당 생산 단가 $20~$25

5. 새로운 메모리 기술(LPCAMM) 도입

GB300은 그레이스(Grace) CPU 및 블랙웰 울트라(Blackwell Ultra) GPU를 탑재.
LPCAMM 메모리 표준을 서버에 최초 적용, 이는 기존 랩톱 및 데스크톱뿐만 아니라 서버에서도 LPCAMM이 주류 메모리 형태가 될 가능성을 시사.
정식 출시 이후 LPCAMM 메모리 구성에 대한 추가 정보가 공개될 예정.

결론

GB300 "Blackwell Ultra"는 메모리, 네트워킹, 냉각 시스템, 전력 관리 등 모든 면에서 대폭 개선된 AI 가속기로, 대규모 AI 모델을 더욱 효율적으로 처리할 수 있도록 설계되었다. 특히 288GB HBM3E 메모리와 차세대 네트워킹 기술 적용이 주목할 만한 특징이다.

이제 공식 발표를 통해 출시 일정과 추가적인 기술 세부 사항을 확인할 필요가 있다.

------------------------------------

2025.03.18

엔비디아 '루빈' 공개 임박…이젠 HBM4 경쟁 / 한국경제TV뉴스

블랙웰-->24x8=192GB

블랙웰울트라-->36x12=432GB

저작자표시 비영리 (새창열림)