2023.06.21
2023년 사용되는 HBM 디램은 약2.9억 GB.
2024년에는 30% 증가한 3.77억 GB.
Major CSPs Aggressively Constructing AI Servers and Boosting Demand for AI Chips and HBM, Advanced Packaging Capacity Forecasted to Surge 30~40% by 2024, Says TrendForce
주요 클라우드 서비스 업체들의 공격적인 AI 서버 증설로 AI칩과 HBM D램에 대한 수요가 증가하며,
선진 패키징 용량 수요가 30-40%정도 증가할 것으로 트렌드포스는 예상했다.
TrendForce reports that explosive growth in generative AI applications like chatbots has spurred
significant expansion in AI server development in 2023.
2023년에는 챗봇과 같은 생성적 AI 응용 프로그램의 폭발적인 성장으로 인해
AI 서버 개발이 크게 확대되었다고 TrendForce 보고서가 전합니다.
Major CSPs including Microsoft, Google, AWS, as well as Chinese enterprises like Baidu and ByteDance, have invested heavily in high-end AI servers to continuously train and optimize their AI models.
This reliance on high-end AI servers necessitates the use of high-end AI chips, which in turn will not only drive up demand for HBM during 2023~2024, but is also expected to boost growth in advanced packaging capacity by 30~40% in 2024.
주요 클라우드 서비스 제공 업체인 Microsoft, Google, AWS와 함께 바이두와 바이트댄스와 같은 중국 기업들도
자사의 AI 모델을 계속 훈련하고 최적화하기 위해 고성능 AI 서버에 대한 대규모 투자를 하고 있다고 합니다.
이러한 고성능 AI 서버에 대한 의존성은 고성능 AI 칩의 사용을 필요로 하며,
이는 2023년부터 2024년까지 HBM(High Bandwidth Memory)의 수요를 높일 뿐만 아니라
2024년에 고급 패키징 용량의 성장을 30~40% 증가시킬 것으로 예상됩니다.
TrendForce highlights that to augment the computational efficiency of AI servers and
enhance memory transmission bandwidth, leading AI chip makers such as Nvidia, AMD, and Intel
have opted to incorporate HBM.
Presently, Nvidia’s A100 and H100 chips each boast up to 80 GB of HBM2e and HBM3.
In its latest integrated CPU and GPU, the Grace Hopper Superchip, Nvidia expanded a single chip’s HBM capacity
by 20%, hitting a mark of 96 GB.
AMD’s MI300 also uses HBM3, with the MI300A capacity remaining at 128 GB like its predecessor,
while the more advanced MI300X has ramped up to 192 GB, marking a 50% increase.
Google is expected to broaden its partnership with Broadcom in late 2023 to produce
the AISC AI accelerator chip TPU, which will also incorporate HBM memory, in order to extend AI infrastructure.
TrendForce는 AI 서버의 계산 효율을 향상시키고 메모리 전송 대역폭을 향상시키기 위해
Nvidia, AMD, Intel과 같은 주요 AI 칩 제조업체가 HBM을 도입하기로 선택했다고 강조합니다.
현재 Nvidia의 A100과 H100 칩은 각각 최대 80GB의 HBM2e와 HBM3을 자랑합니다.
Nvidia는 최신 통합 CPU와 GPU인 Grace Hopper Superchip에서 HBM 용량을 20% 증가시켜 96GB를 달성했습니다.
AMD의 MI300도 HBM3을 사용하며, MI300A의 용량은 이전 제품과 동일한 128GB를 유지하고 있습니다.
반면 더 고급화된 MI300X는 192GB로 50% 증가했습니다.
Google은 2023년 말에 Broadcom과의 파트너십을 확대해 AISC AI 가속기 칩 TPU를 생산할 예정인데,
이 칩도 HBM 메모리를 통합하여 AI 인프라를 확장할 것으로 예상됩니다.
TrendForce predicts that AI accelerator chips that primarily utilize HBM (including Nvidia’s H100 and A100, AMD’s MI200 and MI300, and Google’s TPU) will have a total HBM capacity of 290 million GB in 2023—a nearly 60% growth rate.
This momentum is projected to sustain at a rate of 30% or more into 2024.
TrendForce는 2023년에 주로 HBM을 활용하는 AI 가속기 칩(엔비디아의 H100과 A100, AMD의 MI200과 MI300,
Google의 TPU)의 총 HBM 용량이 2억 9천만 GB에 이를 것으로 예측하고 있으며, 이는 약 60%의 성장률입니다.
이러한 흐름은 2024년까지 30% 이상의 증가율로 유지될 것으로 전망되고 있습니다.
Additionally, there is escalating demand for advanced packaging technology in AI and HPC domains,
with TSMC’s Chip on Wafer on Substrate (CoWoS) being the predominant choice for AI server chips.
또한, AI 및 HPC 분야에서 고급 패키징 기술에 대한 수요가 증가하고 있으며,
TSMC의 Chip on Wafer on Substrate (CoWoS) 패키징 기술이 AI 서버 칩의 주요 선택 사항으로 부각되고 있습니다.
CoWoS packaging technology involves two stages: CoW and oS.
The CoW phase merges various Logic ICs (CPUs, GPUs, and ASICs) and HBM memory;
the oS stage uses solder bumps to connect the CoW assembly and attach it onto a substrate.
This is subsequently integrated into the PCBA, forming the principal computational unit of the server’s motherboard, thereby creating a comprehensive AI server system with other components such as networks, storage, power supply units (PSUs), and other I/O.
CoWoS 패키징 기술은 CoW와 oS의 두 단계로 이루어져 있습니다.
CoW 단계에서는 다양한 Logic IC(중앙 처리 장치, 그래픽 처리 장치 및 응용 특수 칩)와 HBM 메모리가 통합됩니다.
oS 단계에서는 솔더 범프를 사용하여 CoW 조립체를 기판에 연결하고 부착합니다.
이후 이는 PCBA에 통합되어 서버의 마더보드의 주요 계산 장치로 구성되며, 네트워크, 저장소, 전원 공급 장치(PSU) 및 기타 입출력 장치와 함께 포괄적인 AI 서버 시스템을 형성합니다.
TrendForce notes that due to the robust demand for high-end AI chips and HBM, TSMC’s monthly CoWoS capacity is projected to hit 12K by the end of 2023. The demand for CoWoS has surged by almost 50% since the onset of 2023, driven by the needs of Nvidia’s A100 and H100 and associated AI servers. CoWoS capacity is likely to be strained in 2H23 as demand for high-end AI chips from AMD, Google, and other companies intensifies. This strong demand is anticipated to continue into 2024, with a projected growth of 30~40% in advanced packaging capacity, given the readiness of related equipment.
TrendForce underscores that in light of the urgent demand for AI, whether it’s producing HBM or CoWoS, monitoring of support technologies is critical. This includes considering when technologies like Through Silicon Via (TSV) packaging, Interposer circuit boards, and related equipment (i.e., wet process equipment) are implemented, along with factoring in lead times. Should strong demand for AI persist, it’s plausible that Nvidia may explore other advanced packaging alternatives for the CoWoS process—such as those provided by Amkor or Samsung—to address potential supply shortages.
Notes:
1. High-end AI servers in this article refer to server equipment equipped with high-end AI chips, which are used by large-scale CSPs or for HPC AI model training. High-end AI chips include Nvidia’s A100 and H100, AMD’s MI200 and MI300, and Intel’s Max GPU.
2. Samsung’s main advanced packaging technology is the Cube series, including the I-Cube, H-Cube, and X-Cube. Amkor’s advanced packaging technology covers Wafer-Level packaging (WLP), Flip-Chip packaging, and System-Level packaging.
'반도체-삼성전자-하이닉스-마이크론' 카테고리의 다른 글
| (주)딥엑스---인공지능 칩 개발 팹리스 회사(2023.06.23) (0) | 2023.06.23 |
|---|---|
| 디램 가격이 오르네요(2023.06.22) (0) | 2023.06.23 |
| 하나머티리얼즈(2023.06.20) (0) | 2023.06.20 |
| "반도체 회복 사이클 시작"…신한證이 추천한 대표 소부장주는?(2023.06.20) (0) | 2023.06.20 |
| 원익QnC 2023년1분기 실적 (0) | 2023.06.18 |
