2023.05.28
DGX GH200은 AI supercomputer.
GH200 Grace Hopper superchip: GH200 슈퍼칩은 엔비디아 NV링크-C2C 칩 인터커넥트를 이용해
Arm 기반 ‘엔비디아 그레이스 CPU'와 ‘엔비디아 H100 GPU'를
동일 패키지에 결합하므로, 기존처럼 CPU와 GPU를 PCIe로 연결할 필요가 없다.
Nvidia는 또한 DGX GH200 AI 슈퍼컴퓨터를 구동하는 새로운 Grace Hopper 슈퍼칩이 완전 생산 모드에 들어갔으며,
이 슈퍼칩이 장착된 시스템이 2023년 후반에 출시될 것으로 예상된다고 밝혔습니다.
(0.48TB+0.096TB=0.576TB)X 256개= 147TB
1.NVIDIA DGX GH200 GPU 1개당 480GB 디램+ 96GB HBM3 디램 장착.
NVIDIA DGX GH200의 각 NVIDIA Grace Hopper Superchip은 DDR5에 비해 1/8의 전력을 소비하는
480GB의 LPDDR5 CPU 메모리와 96GB의 빠른 HBM3을 가지고 있습니다.
2. 1번과 같은 GPU를 256개까지 장착 가능해서 최대 144테라바이트 메모리 사용 가능
(개당 96GB HBM3 디램 포함)
최대 256개의 GPU를 NVIDIA DGX GH200 슈퍼컴퓨터 시스템에서 통합.
DGX GH200 시스템에서는 NVLink를 통해 고속으로 GPU 공유 메모리 프로그래밍 모델에서
144 테라바이트의 메모리에 접근할 수 있습니다.
3. 디램 가격을 계산해 봅니다.
1GB 2달러로 계산하면, 1TB당 2천달러, 144TB는 288,000달러.
원화로 계산하면 288,000X1300원=3억7440만원
2023년 인공지능 서버 출하량은 120만대로 추정.
인공지능 서버로 인한 디램 매출은 약450조원(120만X3.7억원).
물론 내년 모든 인공지능 서버(150만대)의 80%(120만대)가 엔비디아 DGX GH200 GPU를 채용한다는 가정하에...
( GH200은 아직 출시도 안된 슈퍼칩인데...하지만 2023년 후반에 출시 예정)
언젠가(2-3년내)는 GH200를 장착한 인공지능 서버가 100만대 이상은 출하될것이므로...
하이닉스 2022년 매출(디램+낸드 매출)이 44.6조원인데,
인공지능 서버향 디램 매출만 135조원(마켓 쉐어 30% 가정)이니
외국인들이 묻지마 매수하는 원인이 있었네요.
-------------------------------------------------------
엔비디아, DGX GH200 AI 슈퍼컴퓨터 발표 < 뉴스레터 < 반도체·디스플레이 < 뉴스 < 기사본문 - 테크월드뉴스 - 김창수 기자 (epnc.co.kr)
------------------------------------
NVIDIA DGX GH200를 발표합니다: 첫 번째 100 테라바이트 GPU 메모리 시스템
COMPUTEX 2023에서 NVIDIA는 가장 요구가 많은 거대한 AI 작업 부하를 처리하기 위한 GPU 가속 컴퓨팅의 또 다른 획기적인 진전인 NVIDIA DGX GH200를 발표했습니다. 이 게시물에서는 NVIDIA DGX GH200 아키텍처의 중요한 측면을 설명하며, NVIDIA Base Command가 신속한 배포를 가능하게 하고 사용자의 통합을 가속화하며 시스템 관리를 간소화하는 방법에 대해서도 논의합니다.
The unified memory programming model of GPUs has been the cornerstone of various breakthroughs in complex accelerated computing applications over the last 7 years. In 2016, NVIDIA introduced NVLink technology and the Unified Memory Programming model with CUDA-6, designed to increase the memory available to GPU-accelerated workloads.
지난 7년 동안 GPU의 통합 메모리 프로그래밍 모델은 복잡한 가속 컴퓨팅 응용 프로그램에서 다양한 획기적인 발전의 기반이 되었습니다. 2016년에 NVIDIA는 NVLink 기술과 CUDA-6의 통합 메모리 프로그래밍 모델을 도입하여 GPU 가속 작업 부하에 사용 가능한 메모리를 증가시키는 것을 목표로 설계되었습니다.
Since then, the core of every DGX system is a GPU complex on a baseboard interconnected with NVLink in which each GPU can access the other’s memory at NVLink speed. Many such DGX with GPU complexes are interconnected with high-speed networking to form larger supercomputers such as the NVIDIA Selene supercomputer.
Yet an emerging class of giant, trillion-parameter AI models will require either several months to train or
cannot be solved even on today’s best supercomputers.
이후로 DGX 시스템의 핵심은 NVLink로 상호 연결된 GPU 복합체가 있는 베이스보드입니다.
각 GPU는 NVLink 속도로 상호 메모리에 액세스할 수 있습니다.
이러한 DGX와 GPU 복합체들은 고속 네트워킹으로 상호 연결되어 NVIDIA Selene 슈퍼컴퓨터와 같은
더 큰 슈퍼컴퓨터를 구성합니다.
그러나 최근 등장한 거대한 트릴리온 파라미터(조단위의 파라미터)의 AI 모델들은
학습에 수개월이 걸리거나 현재 최고의 슈퍼컴퓨터에서도 해결할 수 없는 문제들이 있습니다.
To empower the scientists in need of an advanced platform that can solve these extraordinary challenges,
NVIDIA paired NVIDIA Grace Hopper Superchip with the NVLink Switch System,
uniting up to 256 GPUs in an NVIDIA DGX GH200 system.
In the DGX GH200 system, 144 terabytes of memory will be accessible to the GPU shared memory programming model at high speed over NVLink.
이러한 특별한 도전을 해결할 수 있는 고급 플랫폼이 필요한 과학자들을 지원하기 위해 NVIDIA는 NVIDIA Grace Hopper Superchip을 NVLink 스위치 시스템과 함께 사용하여 최대 256개의 GPU를 NVIDIA DGX GH200 시스템에서 통합했습니다.
DGX GH200 시스템에서는 NVLink를 통해 고속으로 GPU 공유 메모리 프로그래밍 모델에서
144 테라바이트의 메모리에 접근할 수 있습니다.
Compared to a single NVIDIA DGX A100 320 GB system, NVIDIA DGX GH200 provides nearly 500x more memory
to the GPU shared memory programming model over NVLink, forming a giant data center-sized GPU.
NVIDIA DGX GH200 is the first supercomputer to break the 100-terabyte barrier for memory
accessible to GPUs over NVLink.
단일 NVIDIA DGX A100 320GB 시스템과 비교했을 때, NVIDIA DGX GH200는 NVLink를 통해
GPU 공유 메모리 프로그래밍 모델에 거의 500배 더 많은 메모리를 제공하여 거대한 데이터 센터 크기의
GPU를 형성합니다.
NVIDIA DGX GH200는 NVLink를 통해 GPU가 액세스할 수 있는 메모리가 100테라바이트 장벽을 깨는
최초의 슈퍼컴퓨터입니다.
Giant Memory for Giant Models Unlike existing AI supercomputers that are designed to support workloads that fit within the memory of a single system, NVIDIA DGX GH200 is the only AI supercomputer that offers a shared memory space of up to 144TB across 256 Grace Hopper Superchips, providing developers with nearly 500X more fast-access memory to build massive models. DGX GH200 is the first supercomputer to pair Grace Hopper Superchips with the NVIDIA NVLink Switch System, which allows up to 256 GPUs to be united as one data-center-size GPU. This architecture provides 48X more bandwidth than the previous generation, delivering the power of a massive AI supercomputer with the simplicity of programming a single GPU.
기존의 AI 슈퍼컴퓨터와는 달리, NVIDIA DGX GH200은 단일 시스템의 메모리에 맞는 작업 부하를 지원하는 것이 아닌, 256개의 Grace Hopper Superchip을 통해 최대 144TB까지의 공유 메모리 공간을 제공하는
유일한 AI 슈퍼컴퓨터입니다.
이를 통해 개발자들은 거대한 모델을 구축하기 위해 거의 500배 더 많은 빠른 액세스 메모리를 사용할 수 있습다.
DGX GH200은 Grace Hopper Superchip을 NVIDIA NVLink 스위치 시스템과 함께 사용하는 첫 번째 슈퍼컴퓨터로,
최대 256개의 GPU를 데이터 센터 크기의 하나로 통합할 수 있습니다.
이 아키텍처는 이전 세대보다 48배 더 많은 대역폭을 제공하여 대규모 AI 슈퍼컴퓨터의 성능을
단일 GPU로 프로그래밍하는 간편함을 제공합니다.
--------------------------------------------
Giant Memory for Giant Models Unlike existing AI supercomputers that are designed to support workloads that fit within the memory of a single system, NVIDIA DGX GH200 is the only AI supercomputer that offers a shared memory space of up to 144TB across 256 Grace Hopper Superchips, providing developers with nearly 500X more fast-access memory to build massive models. DGX GH200 is the first supercomputer to pair Grace Hopper Superchips with the NVIDIA NVLink Switch System, which allows up to 256 GPUs to be united as one data-center-size GPU. This architecture provides 48X more bandwidth than the previous generation, delivering the power of a massive AI supercomputer with the simplicity of programming a single GPU.
기존의 AI 슈퍼컴퓨터와는 달리, NVIDIA DGX GH200은 단일 시스템의 메모리에 맞는 작업 부하를 지원하는 것이 아닌, 256개의 Grace Hopper Superchip을 통해 최대 144TB까지의 공유 메모리 공간을 제공하는 유일한 AI 슈퍼컴퓨터입니다. 이를 통해 개발자들은 거대한 모델을 구축하기 위해 거의 500배 더 많은 빠른 액세스 메모리를 사용할 수 있습니다. DGX GH200은 Grace Hopper Superchip을 NVIDIA NVLink 스위치 시스템과 함께 사용하는 첫 번째 슈퍼컴퓨터로, 최대 256개의 GPU를 데이터 센터 크기의 하나로 통합할 수 있습니다. 이 아키텍처는 이전 세대보다 48배 더 많은 대역폭을 제공하여 대규모 AI 슈퍼컴퓨터의 성능을 단일 GPU로 프로그래밍하는 간편함을 제공합니다.
Super Power-Efficient Computing As the complexity of AI models has increased, the technology to develop and deploy them has become more resource intensive. However, using the NVIDIA Grace Hopper architecture, DGX GH200 achieves excellent power efficiency. Each NVIDIA Grace Hopper Superchip is both a CPU and GPU in one unit, connected with superfast NVIDIA NVLink-C2C. The Grace™ CPU uses LPDDR5X memory, which consumes one-eighth the power of traditional DDR5 system memory while providing 50 percent more bandwidth than eight-channel DDR5. And being on the same package, the Grace CPU and Hopper™ GPU interconnect consumes 5X less power and provides 7X the bandwidth compared to the latest PCIe technology used in other systems.
AI 모델의 복잡성이 증가함에 따라 개발 및 배포를 위한 기술은 더 많은 리소스를 필요로 합니다. 그러나 NVIDIA Grace Hopper 아키텍처를 사용하여 DGX GH200은 우수한 전력 효율성을 달성합다.
각 NVIDIA Grace Hopper Superchip은 CPU와 GPU가 하나의 유닛으로 통합되어 있으며,
빠른 NVIDIA NVLink-C2C로 연결됩니다.
Grace CPU는 LPDDR5X 메모리를 사용하며, 전통적인 DDR5 시스템 메모리의 1/8의 전력을 소비하면서도 8채널 DDR5보다 50% 더 많은 대역폭을 제공합니다.
또한 Grace CPU와 Hopper GPU가 동일한 패키지에 있으므로 다른 시스템에서 사용되는
최신 PCIe 기술에 비해 5배 적은 전력을 소비하면서 7배의 대역폭을 제공합니다.
Each NVIDIA Grace Hopper Superchip in NVIDIA DGX GH200 has 480 GB LPDDR5 CPU memory, at eighth of the power per GB, compared with DDR5 and 96 GB of fast HBM3.
NVIDIA Grace CPU and Hopper GPU are interconnected with NVLink-C2C,
providing 7x more bandwidth than PCIe Gen5 at one-fifth the power.
NVIDIA DGX GH200의 각 NVIDIA Grace Hopper Superchip은 DDR5에 비해 1/8의 전력을 소비하는
480GB의 LPDDR5 CPU 메모리와 96GB의 빠른 HBM3을 가지고 있습니다.
NVIDIA Grace CPU와 Hopper GPU는 NVLink-C2C로 연결되어 있어 PCIe Gen5에 비해 7배 더 많은
대역폭을 제공하면서 1/5의 전력을 소비합니다.
'마이크로소프트 -엔비디아-AMD-인텔' 카테고리의 다른 글
| AMD는 가장 최첨단 칩인 MI300x를 공개(2023.06.13) (0) | 2023.06.14 |
|---|---|
| Nvidia는 새로운 DGX GH200 AI 슈퍼컴퓨터를 공개 (0) | 2023.06.02 |
| 중요-Nvidia 주식의 가격이 너무 비싼가요?(2023.05.31) (0) | 2023.05.31 |
| "Nvidia의 긴급 주문 폭증으로 TSMC의 5나노미터 제조 공정의 가동률 급증(2023.05.26) (0) | 2023.05.28 |
| 엔비디아 1분기 실적 어닝 서프라이즈(2023.05.25) (0) | 2023.05.25 |
