2025.04.30
메모리 용량-->HBM3E 13.4TB(약 13,400GB)
실시간 1조 개 매개 변수 모델 활용
GB200 NVL72는 랙 스케일의 수랭식 설계로 36개의 Grace CPU와 72개의 Blackwell GPU를 연결합니다. 거대한 단일 GPU 역할을 하는 72GPU NVLink 도메인을 갖추고 있으며, 수조 개의 매개변수가 있는 실시간 거대 언어 모델(LLM) 추론 성능을 30배 향상시킵니다.
GB200 Grace Blackwell 슈퍼칩은 NVIDIA GB200 NVL72의 핵심 구성 요소로, 2개의 고성능 NVIDIA Blackwell Tensor 코어 GPU와 1개의 NVIDIA Grace™ CPU를 NVIDIA NVLink™-C2C 인터커넥트를 통해 2개의 Blackwell GPU에 연결합니다.
엔비디아의 GB200 NVL72는 차세대 AI 및 고성능 컴퓨팅(HPC)을 위한 랙 스케일의 슈퍼컴퓨팅 시스템으로, 수조 개의 파라미터를 가진 대규모 언어 모델(LLM)의 실시간 추론과 훈련을 지원하도록 설계되었습니다. (NVIDIA GB200 NVL72)
주요 구성 요소 및 아키텍처
- Grace Blackwell 슈퍼칩 36개: 각 슈퍼칩은 1개의 NVIDIA Grace™ CPU와 2개의 NVIDIA Blackwell GPU를 통합하여 높은 성능과 에너지 효율성을 제공합니다. (NVIDIA GB200 NVL72)
- 총 72개의 Blackwell GPU: 이 GPU들은 5세대 NVIDIA NVLink™를 통해 연결되어 단일 대형 GPU처럼 작동하며, 초당 130TB의 낮은 지연 GPU 통신을 지원합니다. (NVIDIA GB200 NVL72)
- 13.5TB의 HBM3e 메모리: 고속 메모리로 대규모 모델의 훈련과 추론에 필요한 데이터를 빠르게 처리할 수 있습니다. (NVIDIA GB200 NVL72)
- 수랭식 설계: 효율적인 열 관리를 통해 높은 컴퓨팅 밀도를 유지하면서 에너지 소비를 줄입니다.
🚀 성능 및 효율성
- LLM 실시간 추론 성능: 이전 세대인 NVIDIA H100 대비 최대 30배 빠른 실시간 추론 성능을 제공합니다. (NVIDIA GB200 NVL72)
- LLM 훈련 속도: H100 대비 최대 4배 빠른 훈련 속도를 지원합니다.
- 에너지 효율성: 동일한 전력 소비에서 H100 대비 최대 25배 높은 성능을 제공합니다.
- 데이터 처리 성능: 전통적인 CPU 대비 최대 18배 빠른 데이터 처리 속도를 자랑합니다. (NVIDIA GB200 NVL72)
🧠 활용 사례
- 초대형 언어 모델 훈련 및 추론: 수조 개의 파라미터를 가진 LLM의 실시간 추론과 훈련을 지원하여, GPT-4와 같은 모델을 단일 시스템에서 처리할 수 있습니다. (수조 개의 파라미터 LLM 트레이닝 및 실시간 추론을 제공하는 NVIDIA ...)
- 고성능 컴퓨팅(HPC): 과학적 시뮬레이션, 금융 모델링 등 복잡한 계산이 필요한 분야에서 활용됩니다.
- 데이터 분석 및 처리: 대규모 데이터베이스 쿼리 및 분석 작업을 가속화하여 기업의 데이터 처리 효율을 높입니다. (NVIDIA GB200 NVL72)
🏭 주요 파트너 및 배포
- ASUS: ASUS는 GB200 NVL72를 기반으로 한 AI POD를 출시하여 기업용 AI 솔루션을 제공합니다. (Introducing ASUS AI POD with NVIDIA® GB200 NVL72)
- HPE: HPE는 GB200 NVL72를 통합한 시스템을 통해 대규모 AI 클러스터 구축을 지원합니다. (HPE, 엔비디아 블랙웰 기반 첫 번째 시스템 공식 출하 | HPE 대한민국)
- Supermicro: Supermicro는 수랭식 GB200 NVL72 시스템을 제공하여 에너지 효율적인 데이터 센터 구축을 돕습니다. (NVIDIA GB200 NVL72)
💰 가격 및 경쟁 제품
- 가격: GB200 NVL72 시스템의 가격은 약 300만 달러로 추정됩니다.
- 경쟁 제품: 화웨이는 384개의 Ascend 910C 칩을 연결한 CloudMatrix 384 시스템을 출시하여 GB200 NVL72보다 67% 높은 연산 성능과 3배 이상의 메모리 용량을 제공한다고 주장하지만, 에너지 소비와 운영 비용이 더 높습니다. (Huawei delivers advanced AI chip 'cluster' to Chinese clients cut off from Nvidia)
더 자세한 정보는 NVIDIA 공식 웹사이트에서 확인하실 수 있습니다.