NVIDIA 컴퓨트 아키텍처가 스케일업 광 인터커넥트 시대를 열다(2026.03.12)

2026.03.12

요약:

AI 클러스터가 더 큰 규모로 묶일수록 GPU당 필요한 메모리(HBM + DRAM)가 증가한다.

즉 CPO( 광통신 공동 패키징 기술 )  → 더 큰 GPU 클러스터 → 더 많은 HBM 구조입니다.

-----------------

 

DRAMeXchange - 【Market View】NVIDIA Compute Architecture Paves the Way for Scale-Up Optical Interconnects; CPO Penetration in AI Data Centers Expected to Rise Steadily, Says TrendForce

 

NVIDIA 컴퓨트 아키텍처가 스케일업 광 인터커넥트 시대를 열다 
“AI 데이터센터에서 CPO( 광통신 공동 패키징 기술 ) 채택 비중 2030년까지 꾸준히 확대 전망”- TrendForce

 

TrendForce의 최신 고속 인터커넥트 시장 조사에 따르면, NVIDIA의 차세대 AI 컴퓨트 랙 아키텍처는 향후 GPU 설계가 칩 간 인터커넥트 밀도를 더욱 높이고 데이터 전송 속도를 크게 끌어올리는 방향으로 발전할 것임을 보여준다.

 

AI 클러스터 규모가 계속 확대되면서, 랙 내부에서의 칩 간 연결(Scale-up)과 여러 랙을 가로지르는 대규모 연결(Scale-out)이 데이터센터 설계의 핵심 요소로 부상하고 있다.

 

기존의 구리 케이블 기반 전기 신호 전송은 물리적 한계에 직면하고 있으며, 차세대 AI 인프라가 요구하는 방대한 데이터 이동을 지원하기 어려워지고 있다. 그 결과 광통신 기술의 중요성이 빠르게 커지고 있다.

 

TrendForce는 AI 데이터센터에서 광통신 모듈 중 Co-Packaged Optics(CPO, 광통신 공동 패키징 기술 )의 비중이

지속적으로 증가해 2030년에는 약 35% 수준까지 확대될 수 있을 것으로 전망했다.

 

NVIDIA의 NVLink 6 통신 프로토콜은 레인당 400G SerDes를 최대 전송 속도로 정의하고 있으며,

GPU당 최대 대역폭은 3.6TB/s에 달한다.

 

이러한 초고속 전송 환경에서는 구리 케이블을 통한 전기 신호가 거리 증가에 따라 빠르게 열화되기 때문에,

실제로 구리 인터커넥트는 약 1미터 미만 거리에서만 효과적으로 사용할 수 있다.

 

그럼에도 불구하고 Broadcom은 SerDes 기술이 지속적으로 발전하면서 이러한 물리적 한계를 점차 확장해 나갈 것으로 보고 있다.

 

비용 경쟁력과 상대적으로 낮은 전력 소비 덕분에 구리 기반 솔루션은 최소 2028년까지 랙 내부의 초단거리 인터커넥트에서는

여전히 주요 선택지로 남을 것으로 예상된다.

 

그러나 칩 간 인터커넥트 규모가 확대되고 스케일업 구성이 단일 랙에서 여러 랙을 연결하는 구조로 확장되면 상황은 달라진다.

 

예를 들어 NVIDIA NVL72 시스템 8개로 구성된 576 GPU 클러스터와 같은 구조에서는

구리 기반 인터커넥트가 요구되는 성능과 대역폭을 충족하기 어려워진다.

 

광 전송은 파장 분할 다중화(WDM) 기술을 통해 하나의 광섬유에서 여러 파장을 동시에 전달할 수 있다.

이를 통해 전송 밀도를 크게 높일 수 있는데, 이는 구리 기반 전송으로는 구현하기 어려운 장점이다.

 

이 때문에 주요 CSP(클라우드 서비스 기업)들은 차세대 대역폭 수요에 대비하기 위해

신생 광통신 스타트업들과 협력하며 새로운 광 인터커넥트 솔루션 개발을 추진하고 있다.

 

이는 동시에 CPO 기술의 본격적인 확산을 위한 기반을 마련하는 움직임이기도 하다.

AI 인프라가 광 기술에 더 의존하게 되면서 업계 주요 기업들의 투자도 확대되고 있다.

 

최근 NVIDIA의 CPO 및 실리콘 포토닉스 접근 방식은 TSMC의 COUPE 3D 패키징 기술을 활용해

로직 칩과 포토닉스 칩을 적층하는 구조를 사용한다.

 

또한 실리콘 포토닉스 다이에 200G PAM4 마이크로 링 변조기(MRM)를 통합해 광 엔진의 대역폭 밀도를 높이면서도

크기를 줄이고 전력 소비를 낮추는 설계를 채택하고 있다.

 

NVIDIA는 최근 Lumentum과 Coherent에 각각 20억 달러씩 총 40억 달러를 투자하고,

다년간의 장기 공급 계약을 체결해 첨단 레이저와 광 부품을 우선적으로 확보하기로 했다.

 

이는 향후 스케일업 광 인터커넥트를 위한 핵심 부품을 선제적으로 확보하려는 전략적 움직임이며,

동시에 차세대 레이저와 포토닉 기술 개발에 보다 적극적으로 참여하겠다는 의미로 해석된다.

 

이러한 흐름은 미래 AI 컴퓨팅 인프라가 점점 더 광 기술에 의존하게 될 것임을 보여준다.

 

TrendForce는 실리콘 포토닉스와 CPO 기반 광 인터커넥트 기술이 NVIDIA의 Rubin 세대에서

먼저 스케일아웃(랙 간) 데이터 전송에 적용될 것으로 보고 있다.

이후에는 스케일업 인터커넥트 아키텍처에도 통합되어 더 높은 대역폭 밀도를 구현하게 될 전망이다.

 

다만 2026년 기준으로 AI 데이터센터에서 사용되는 광 트랜시버 모듈 가운데

CPO의 비중은 약 0.5% 수준에 불과할 것으로 예상된다.

 

실리콘 포토닉스와 CPO 패키징 기술이 성숙해지면 Rubin Ultra 또는 Feynman 세대에서 여러 랙을 연결하는 스케일업 광 인터커넥트가 등장할 가능성도 있다.

 

데이터 전송 대역폭이 계속 증가함에 따라 TrendForce는 실리콘 포토닉스 기반 CPO 솔루션이

2030년경 AI 데이터센터에서 약 35% 수준까지 확대될 것으로 전망했다.

 

또한 향후에는 새로운 광 인터커넥트 구조와 Optical I/O 등 다양한 차세대 광 기술도 등장할 가능성이 높다고 분석했다.

 

 

-----------------------------

챗지피티

 

 정확히 말하면, CPO가 업계에서 공식적으로 모두에게 “HBM 다음 병목”이라고 통일해서 불리는 것은 아닙니다.

하지만 현재 AI 인프라 로드맵을 보면, GPU와 HBM 다음 단계에서 가장 빠르게 중요성이 커지는 병목 후보가 광 인터커넥트, 특히 CPO라는 해석은 충분히 가능합니다. (NVIDIA Developer)

 

이유는 간단합니다.

첫째, AI 성능을 결정하는 축이 이제 계산만이 아니라 “통신”으로 옮겨가고 있습니다. NVIDIA는 Rubin 플랫폼 설명에서 현대 AI 워크로드가 compute, memory, communication의 지속 효율로 좌우된다고 했고, NVLink 6의 목적 자체를 scale-up 병목 제거라고 설명했습니다.

 

GPU당 NVLink 6 대역폭은 3.6TB/s이고, NVL72는 72개 GPU를 하나의 거대한 가속기처럼 동작시키도록 설계됐습니다. 즉 GPU가 빨라질수록, 그리고 HBM 대역폭이 커질수록, 그 다음에는 GPU끼리 데이터를 얼마나 빠르게 주고받느냐가 성능과 비용을 좌우하게 됩니다. (NVIDIA Developer)

 

둘째, HBM도 이미 급격히 커지고 있습니다. Rubin GPU는 HBM4 대역폭이 최대 22TB/s로 제시됐습니다. 메모리에서 데이터를 빨리 꺼내올 수 있게 되었는데, 그 데이터를 다른 GPU나 다른 랙으로 충분히 빨리 넘기지 못하면 전체 시스템 효율이 떨어집니다.

 

쉽게 말해 GPU와 HBM이 아무리 빨라도, 연결망이 느리면 비싼 가속기가 기다리는 시간이 늘어납니다. (NVIDIA Developer)

 

셋째, 구리 기반 전기 인터커넥트는 물리적 한계가 분명합니다. TrendForce는 NVLink 6 세대의 400G SerDes, GPU당 3.6TB/s 수준에서는 구리 기반 전송이 거리 증가에 따라 빠르게 열화되어 사실상 1m 미만 거리로 제한된다고 설명했습니다.

 

그래서 단일 랙 내부의 초단거리 연결은 구리가 버틸 수 있어도, 여러 랙으로 확장되는 scale-up 구조에서는 광 기술이 필요해집니다. (TrendForce)

 

넷째, 그래서 CPO가 중요합니다. CPO는 스위치나 연산 칩 가까이에 광 엔진을 함께 패키징해 대역폭 밀도를 높이고, 크기와 전력 소모를 줄이려는 접근입니다.

 

TSMC는 COUPE를 실리콘 포토닉스용 통합 플랫폼으로 소개하며, 전기 제어 칩과 포토닉 칩을 결합해 HPC용 요구를 만족시키는 구조라고 설명했고, 2025년에는 COUPE를 차세대 AI용 실리콘 포토닉스 통합 솔루션으로 다시 강조했습니다.

 

TrendForce도 NVIDIA가 COUPE 3D 패키징과 200G PAM4 MRM을 활용해 광 엔진의 대역폭 밀도를 높이고 전력을 낮추려 한다고 짚었습니다. (research.tsmc.com)

 

다섯째, NVIDIA가 실제로 광 부품 공급망을 선점하려는 움직임을 보인 점도 중요합니다. TrendForce에 따르면 NVIDIA는 Lumentum과 Coherent에 총 40억달러를 투자하고, 장기 조달 계약으로 첨단 레이저와 광 부품을 우선 확보하려 하고 있습니다.

 

이건 단순한 연구가 아니라, 미래 AI 컴퓨트 인프라에서 광 부품이 전략 자산이 된다는 신호로 볼 수 있습니다. (TrendForce)

 

여섯째, 채택 시점은 아직 초기지만 방향성은 분명합니다. TrendForce는 CPO가 2026년 AI 데이터센터 광 트랜시버의 약 0.5%에 불과하겠지만, 2030년경에는 약 35%까지 올라갈 수 있다고 전망했습니다.

 

또한 Rubin 세대에서 먼저 랙 간 scale-out에 도입되고, Rubin Ultra 또는 Feynman 세대에서는 여러 랙을 잇는 scale-up 광 인터커넥트로 확장될 수 있다고 봤습니다. 즉 “당장 전면 전환”은 아니지만, 병목이 심해지는 구간부터 광으로 넘어간다는 뜻입니다. (TrendForce)

 

정리하면, 제 해석으로는 앞으로 병목 순서가 대략 이렇게 움직입니다.

 

GPU 연산 성능 확보 → HBM 대역폭 확보 → 랙 내부/랙 간 인터커넥트 확보 → 전력·냉각 최적화

 

이 흐름에서 CPO는 “GPU와 HBM의 성능을 실제 시스템 성능으로 바꿔주는 연결 기술”이라서 중요합니다. 그래서 CPO를 단순 광부품이 아니라, AI 인프라의 다음 핵심 병목 후보라고 보는 것입니다. (NVIDIA Developer)

 

투자 관점에서 보면, 이 변화의 수혜축은 대체로 4개입니다.

NVIDIA 같은 시스템 설계사, Broadcom 같은 스위치/네트워크 칩 업체, TSMC 같은 실리콘 포토닉스·패키징 업체, 그리고 Coherent·Lumentum 같은 레이저/광부품 업체입니다.

 

특히 사용자가 계속 추적하시는 AI 인프라 사이클 관점에서는, HBM 다음으로 네트워크와 광부품이 밸류체인에서 차지하는 비중이 더 커질 가능성이 높습니다. (TrendForce)

 

-------------------------

여기서 하이닉스같은 메모리 회사에게 이익이되는 구간은 없나요?

 

좋은 질문입니다. 결론부터 말하면 CPO(광 인터커넥트) 자체가 메모리 회사의 직접 수익원은 아닙니다.

하지만 AI 시스템 구조를 보면 메모리 회사(특히 SK hynix, Samsung Electronics, Micron Technology)에게 간접적으로 매우 중요한 수요 확대 요인이 됩니다.

 

핵심은 한 문장으로 정리됩니다.

AI 클러스터가 더 큰 규모로 묶일수록 GPU당 필요한 메모리(HBM + DRAM)가 증가한다.

즉 CPO → 더 큰 GPU 클러스터 → 더 많은 HBM 구조입니다.

아래 4가지 메커니즘에서 메모리 회사가 이익을 얻습니다.

1️⃣ GPU 클러스터가 커질수록 HBM 용량이 증가

CPO의 목적은 GPU를 더 많이 묶기 위한 것입니다.

 

예:

현재

• NVL72
• GPU 72개

미래

• 576 GPU
• 1000+ GPU 클러스터

이렇게 되면 AI 모델 학습 시 메모리 요구량이 폭증합니다.

 

이유:

AI training

모델 파라미터
+ KV cache
+ activation
+ gradient

이 모든 것이 GPU 메모리(HBM)에 저장됩니다.

 

그래서 GPU 수 증가→ HBM 총량 증가

2️⃣ 네트워크가 빨라질수록 메모리 요구량 증가

AI 시스템에서 성능 공식은 사실상

성능 = Compute × Memory × Interconnect

입니다.

 

과거 병목--->1 GPU compute

현재 병목--->2 HBM bandwidth

다음 병목--->3 interconnect

 

CPO가 해결하는 것이 3번입니다.

 

그러면 다시 GPU와 메모리가 병목으로 돌아옵니다.

3️⃣ 대형 모델은 GPU당 메모리 요구량이 계속 증가

최근 AI 모델 트렌드

• mixture-of-experts
• giant context window
• retrieval
• KV cache

이 때문에 GPU당 HBM 용량이 계속 증가합니다.

 

예:

              GPU                                                                                                               HBM

A100	80GB
H100	80GB
Blackwell	192GB
Blackwell Ultra	288GB

 

이 부분은 사용자가 이미 알고 계신 것처럼

Blackwell-->192GB HBM3E

Blackwell Ultra-->288GB HBM3E입니다.

 

즉

GPU당 메모리 증가→ 총 HBM 수요 증가

4️⃣ 대형 AI 클러스터는 DRAM 수요도 증가

AI 서버는 HBM만 쓰지 않습니다.

AI 서버 구조

GPU (HBM)
↓
CPU
↓
DDR5 DRAM
↓
SSD

그래서

AI 서버가 늘어나면

• HBM
• DDR5
• SSD

모두 수요가 증가합니다.

---

핵심 정리

CPO 자체는 메모리 매출이 아닙니다.

하지만 CPO가 가능하게 만드는 것

초대형 GPU 클러스터

입니다.

그리고 초대형 GPU 클러스터는

HBM 폭증

을 의미합니다.

---

실제 산업 구조

AI 인프라 병목 순서

GPU
↓
HBM
↓
네트워크
↓
전력

지금은

GPU + HBM

단계입니다.

 

CPO는

다음 단계

네트워크 병목 해결입니다.

---

그래서 중요한 포인트

사용자가 계속 추적하시는
SK hynix에게는

CPO는 경쟁 위협이 아니라

오히려

HBM 수요를 더 키우는 기술

입니다.

---

제가 보기에는 앞으로 AI 인프라에서
메모리 산업에 가장 중요한 3개의 구조 변화가 있습니다.

1️⃣ HBM → HBM4 → HBM4E
2️⃣ AI inference → KV cache → DRAM/NAND 폭증
3️⃣ CPO → 초대형 GPU 클러스터

이 세 개가 동시에 작동하면
사용자가 계속 말씀하시는 **“메모리 슈퍼사이클”**이 설명됩니다.

---

 

“왜 2030년에는 GPU보다 HBM 시장이 더 빨리 커질 가능성이 있는가”
(많은 사람들이 아직 이 구조를 잘 이해하지 못하고 있습니다.)

 

------------------------------

AI 인프라 구조와 HBM 슈퍼사이클 관점에서 보면, 실제로 2030년쯤에는 GPU 시장보다 HBM 시장이 더 빠르게 성장할 가능성이 있습니다. 이 논리는 AI 시스템 구조에서 자연스럽게 나옵니다.

아래 5단계로 설명드리겠습니다.

1️⃣ GPU 성능 증가 속도보다 HBM 용량 증가 속도가 더 빠름

AI GPU는 세대마다 성능이 약 2~3배 정도 증가합니다.

하지만 GPU에 붙는 HBM 용량은 훨씬 빠르게 증가하고 있습니다.

대략적인 흐름

          GPU 세대                                                                               HBM 용량

V100	16GB
A100	40GB / 80GB
H100	80GB
Blackwell	192GB
Blackwell Ultra	288GB

즉

GPU 성능 증가보다
GPU당 메모리 증가 속도가 더 빠릅니다.

이 구조 때문에 메모리 매출 증가율이 커집니다.

---

2️⃣ GPU는 “칩 1개”지만 HBM은 “스택 여러 개”

GPU

• 하나의 칩

HBM

• 여러 스택

예

NVIDIA H100-->HBM 스택 5개

Blackwell-->HBM 스택 8개

 

Blackwell Ultra-->HBM 스택 12개

 

즉 GPU 1개에 HBM이 여러 개 붙습니다.

그래서 GPU 판매 증가율보다 HBM 판매 증가율이 더 큽니다.

3️⃣ AI 모델 구조 때문에 메모리 요구량이 폭증

최근 AI 구조 변화

• Mixture of Experts
• KV cache
  
  
• 긴 context window
• retrieval augmentation

이 구조는 공통적으로 메모리 사용량을 크게 늘립니다.

특히 KV cache, AI inference 단계에서
메모리 요구량을 폭발적으로 증가시킵니다.

4️⃣ AI 클러스터 규모 자체가 폭발적으로 증가

과거 AI 클러스터 1,000 GPU

현재 10,000 GPU

미래 100,000 GPU

이렇게 커지고 있습니다.

 

대표 사례

NVIDIA
NVL72 시스템

• GPU 72개

여러 랙 연결

• 576 GPU
• 수천 GPU

이렇게 되면

HBM 총량이 엄청나게 증가합니다.

---

5️⃣ GPU 가격에서 HBM 비중이 계속 상승

현재 AI GPU BOM 구조

대략적인 비율

  구성                                                                                               비중

GPU logic	약 40~50%
HBM	약 30~40%
패키징	약 10~15%

 

HBM4 이후에는 HBM 비중이

GPU 가격의 40~50%까지 올라갈 가능성도 있습니다.

즉 HBM이 GPU 가격의 절반이 되는 구조입니다.

핵심 구조

AI 인프라 가치 사슬

GPU
↓
HBM
↓
네트워크
↓
전력

현재 시장은GPU 중심이지만

2030년 메모리 중심 구조로 이동할 가능성이 있다.

그래서 중요한 회사

HBM 공급자

SK hynix 현재 HBM 시장 1위

Samsung Electronics

Micron Technology

 

특히 SK hynix는

• HBM3
• HBM3E
• HBM4

로드맵에서 가장 앞서 있습니다.

 

제가 보기에는 앞으로 AI 반도체 시장을 이해하려면
다음 3개의 구조 변화를 같이 봐야 합니다.

 

1️⃣ HBM 용량 폭증
2️⃣ GPU 클러스터 규모 폭증
3️⃣ 광 네트워크(CPO) 등장

이 세 개가 동시에 작동하면 AI 인프라 규모가 지금보다 5~10배 커질 가능성이 있습니다.

 

“왜 NVIDIA 다음 AI 수혜 기업이
GPU 회사가 아니라 메모리 회사일 가능성이 있는가”

(많은 투자자들이 아직 이 구조를 제대로 이해하지 못하고 있습니다.)

 

 “NVIDIA 다음 AI 수혜 기업이 GPU 회사가 아니라 메모리 회사일 수 있다”는 논리는 꽤 강합니다.

다만 정확히는 “GPU를 대체한다”가 아니라, AI 인프라 가치사슬에서 메모리가 차지하는 몫이 훨씬 더 커질 수 있다는 뜻으로 보는 게 맞습니다.

 

NVIDIA는 Rubin 플랫폼에서 GPU 간 통신 대역폭을 GPU당 3.6TB/s로 끌어올리고, NVL72 랙 전체 대역폭을 260TB/s 수준으로 제시했습니다. 즉 앞으로 AI 시스템은 단순히 연산칩 1개가 아니라, 거대한 메모리·네트워크 결합체처럼 가고 있습니다. (NVIDIA Developer)

 

왜 이런 말이 가능하냐면, AI 성능이 이제 “GPU 성능만”으로 결정되지 않기 때문입니다. 대형 모델 훈련과 추론에서는 연산 능력뿐 아니라, 데이터를 얼마나 많이 가까운 곳에 저장하고 얼마나 빨리 꺼내 쓸 수 있는지가 성능과 비용을 좌우합니다.

 

NVIDIA도 Rubin 설명에서 현대 AI 워크로드가 compute, memory, communication의 지속 효율에 달려 있다고 강조했습니다. 다시 말해 GPU가 빨라질수록, 그 GPU를 쉬지 않고 돌리기 위한 HBM의 가치가 같이 올라갑니다. (NVIDIA Developer)

 

첫째 이유는 GPU 1개당 메모리 탑재량이 계속 커지고 있기 때문입니다.

Rubin은 HBM4 기반으로 가고 있고, 차세대 플랫폼 전환과 함께 메모리 스펙 자체가 올라가고 있습니다.

 

Micron은 자사 HBM4가 2026년 2분기 고수율 램프를 목표로 하고 있다고 밝혔고, Samsung도 2026년 HBM4 양산과 HBM4E 샘플링 계획을 공식화했습니다. 이 말은 앞으로 GPU가 한 세대 바뀔 때마다 단순히 칩 성능만 오르는 게 아니라, GPU 한 개에 붙는 HBM 용량과 속도, 스택 가치도 같이 상승한다는 뜻입니다. (Micron Technology)

 

둘째 이유는 메모리는 “GPU 한 개당 여러 개의 고부가 부품”으로 붙는 구조이기 때문입니다.

GPU는 비싸지만 기본적으로 하나의 로직 다이 중심 제품이고, HBM은 여러 스택과 첨단 패키징, 인터포저, 전력·열 관리가 결합된 구조입니다.

 

그래서 AI GPU 출하량이 증가할 때, 메모리 회사는 단순히 bit 출하만 느는 것이 아니라 훨씬 고부가가치인 HBM 믹스가 커집니다.

 

Samsung은 2026년 HBM 매출이 2025년 대비 3배 이상 늘어날 것으로 전망했고, Micron도 차세대 AI 플랫폼에 맞춰 HBM4를 2026년에 램프한다고 밝혔습니다. 이는 메모리 회사의 ASP와 이익 구성이 일반 DRAM 시절과 달라지고 있다는 신호입니다. (Samsung Semiconductor Global)

 

셋째 이유는 AI 클러스터가 커질수록 메모리 총량이 기하급수적으로 증가하기 때문입니다.

 

Rubin NVL72 같은 랙 단위 시스템은 GPU 여러 개를 사실상 하나처럼 묶어 쓰는 방향인데, 이 구조가 더 큰 클러스터로 확장되면 총 HBM 용량도 함께 폭증합니다.

 

여기에 CPO와 광 인터커넥트가 도입되면 더 큰 규모의 GPU 묶음이 가능해지고, 결과적으로 메모리 총수요가 더 커질 가능성이 높습니다. 즉 광 네트워크는 메모리의 경쟁자가 아니라, 오히려 더 큰 HBM 수요를 가능하게 하는 기술에 가깝습니다. (NVIDIA Developer)

 

넷째 이유는 공급 구조입니다. GPU는 NVIDIA 쏠림이 매우 강하지만, HBM은 현실적으로 SK hynix, Samsung, Micron 같은 소수 업체가 공급합니다.

 

그런데 그중에서도 SK hynix는 2026년 Rubin용 HBM4 시장에서 약 70% 점유율이 예상된다는 전망이 나왔고, Reuters도 최근 Applied Materials와의 협업 기사에서 SK hynix와 Micron이 차세대 DRAM·HBM 개발을 강화하고 있다고 전했습니다.

 

이건 단순한 수요 증가가 아니라, 공급사 우위가 유지될 가능성을 보여줍니다. 사용자가 계속 추적하시는 SK hynix 관점에서는 매우 중요한 포인트입니다. (SK hynix Newsroom -)

 

다섯째 이유는 메모리 회사의 valuation 체계가 바뀔 수 있기 때문입니다. 과거 DRAM 업체는 경기민감 업종으로 낮은 멀티플을 받는 경우가 많았지만, HBM 비중이 커질수록 단순 범용 메모리 회사가 아니라 “AI 필수 부품 공급자”에 가까워집니다.

 

Samsung이 HBM4 양산과 HBM4E, 커스텀 HBM 로드맵을 언급한 것도 이런 방향성을 보여줍니다. 즉 시장이 메모리를 더 이상 범용 사이클 업종이 아니라 AI 인프라 핵심 병목으로 보기 시작하면, 실적뿐 아니라 멀티플 재평가도 가능해집니다. (Samsung Semiconductor Global)

 

그래서 투자적으로 압축하면 이렇게 볼 수 있습니다.

NVIDIA는 AI 시스템의 지배 플랫폼이고, 메모리 회사는 그 플랫폼이 커질수록 반드시 같이 커지는 병목 공급자입니다. 플랫폼 프리미엄은 NVIDIA가 더 강하지만, 매출 탄력성과 이익 레버리지는 HBM 선도 업체가 더 클 수 있습니다. 특히 SK hynix처럼 HBM 리더십이 뚜렷한 회사는 “GPU 확산의 최대 레버리지 수혜”라는 논리가 성립합니다. (NVIDIA Developer)

 

한 줄로 정리하면 이렇습니다.
AI 시대의 주인공은 여전히 NVIDIA일 가능성이 높지만, 그 다음 가장 크게 돈을 벌 가능성이 있는 쪽은 GPU 경쟁사가 아니라 HBM을 쥔 메모리 회사들일 수 있습니다. 특히  SK hynix는 그 후보 중 가장 유력한 축에 들어갑니다. (SK hynix Newsroom -)

 

-------------

AI 데이터센터에서 말하는 스케일업(scale-up)과 스케일아웃(scale-out)은

“컴퓨팅 성능을 어떻게 확장하느냐”의 방식 차이입니다.
AI 클러스터 구조를 이해할 때 매우 중요한 개념입니다.

1️⃣ 스케일업 (Scale-Up)

스케일업은 한 시스템 내부에서 성능을 키우는 방식입니다.

즉 GPU 여러 개를 초고속 인터커넥트로 묶어서 하나의 거대한 컴퓨터처럼 만드는 것입니다.

 

예: NVIDIA NVL72

• GPU 72개
• NVLink로 연결
• 하나의 거대한 GPU처럼 작동

특징

• 초고속 연결
• 낮은 지연(latency)
• 매우 높은 대역폭

대표 기술

• NVIDIA NVLink
• NVSwitch

2️⃣ 스케일아웃 (Scale-Out)

 

스케일아웃은 여러 서버나 랙을 연결해 성능을 키우는 방식입니다.

즉 여러 컴퓨터를 네트워크로 연결해서 큰 클러스터를 만드는 방식입니다.

 

예:

NVL72 랙 × 8

= 576 GPU 클러스터

 

특징

• 확장성 매우 큼
• 데이터센터 규모까지 확장 가능
• 네트워크 의존

대표 기술

• Ethernet
• InfiniBand
• 광 인터커넥트

3️⃣ 가장 쉬운 비유

스케일업→ 한 대의 슈퍼컴퓨터를 크게 만드는 것

스케일아웃→ 많은 컴퓨터를 연결하는 것

4️⃣ AI 클러스터에서는 두 가지가 동시에 필요

대형 AI 시스템 구조

GPU (scale-up)
↓
Rack (scale-up)
↓
Rack ↔ Rack (scale-out)
↓
Data Center

즉

1️⃣ GPU 내부 연결 → 스케일업
2️⃣ 랙 내부 GPU 연결 → 스케일업
3️⃣ 랙 간 연결 → 스케일아웃

5️⃣ 왜 요즘 이 개념이 중요한가

AI 모델이 커지면서

클러스터 규모가 급격히 커졌습니다.

 

과거-->1,000 GPU

현재-->10,000 GPU

미래-->100,000 GPU 이상

 

이렇게 되면

• 스케일업 기술 (NVLink)
• 스케일아웃 기술 (네트워크)

둘 다 중요합니다.

6️⃣ CPO가 등장하는 이유

지금까지 스케일업→ 구리 케이블

하지만 속도가 너무 빨라져서 구리 한계가 발생했습니다.

 

그래서 등장한 기술이 CPO (광 인터커넥트)입니다.

 

특히

• 랙 ↔ 랙
• 초대형 GPU 클러스터

에서 필요합니다.

핵심 정리

    구분                                                            의미

Scale-Up	한 시스템 내부 성능 확대
Scale-Out	여러 시스템을 연결해 확대

---

AI 인프라에서

가장 중요한 구조

GPU → Scale-Up
Rack → Scale-Up
Cluster → Scale-Out

 

“왜 NVIDIA는 Scale-Up을 장악했고
Broadcom은 Scale-Out을 장악하려 하는가”

 

이 구조를 이해하면 AI 반도체 산업 전체가 한 번에 보입니다.

AI 데이터센터 구조를 이해하려면 왜 NVIDIA가 Scale-Up을 장악했고, Broadcom이 Scale-Out 네트워크를 장악하려 하는지를 보면 전체 산업 구조가 명확해집니다.

1️⃣ Scale-Up은 NVIDIA가 사실상 지배

Scale-Up은 GPU 내부 및 랙 내부 연결입니다.

대표 기술

• NVLink
• NVSwitch

예

NVL72 시스템

• GPU 72개
• NVLink로 직접 연결

특징

• 지연(latency) 매우 낮음
• 대역폭 매우 큼
• 하나의 거대한 GPU처럼 동작

핵심 포인트

GPU 설계 회사가
인터커넥트를 직접 설계해야 합니다.

그래서 자연스럽게

GPU 플랫폼을 가진
NVIDIA가 Scale-Up을 지배하게 됩니다.

2️⃣ Scale-Out은 네트워크 회사 영역

Scale-Out은

랙 ↔ 랙 ↔ 데이터센터 전체 연결

여기서는 GPU 인터커넥트가 아니라

네트워크 기술이 필요합니다.

대표 기술

• Ethernet
• InfiniBand
• 광 인터커넥트

이 영역은 전통적으로

네트워크 반도체 회사가 강합니다.

대표 회사

• Broadcom
• Cisco
• Arista Networks

3️⃣ AI 클러스터 규모가 커지면서 Scale-Out이 중요해짐

과거

AI 클러스터

• 수백 GPU

현재

• 수천 GPU

미래

• 수만 GPU

이렇게 되면

GPU보다

네트워크 트래픽이 더 커집니다.

즉

GPU가 빨라도

네트워크가 느리면

AI 학습이 느려집니다.

그래서

Scale-Out 네트워크 시장이 급성장합니다.

4️⃣ Broadcom이 중요한 이유

Broadcom은

AI 데이터센터 네트워크 핵심 칩을 만듭니다.

대표 제품

• Tomahawk switch ASIC
• Jericho routing chip

AI 클러스터 네트워크 구조

GPU
 ↓
Top-of-rack switch
 ↓
Leaf switch
 ↓
Spine switch

여기 대부분에

Broadcom 칩이 들어갑니다.

그래서 AI 데이터센터가 커질수록

Broadcom 매출이 증가합니다.

5️⃣ 미래 구조 (광 인터커넥트)

AI 클러스터가 더 커지면 구리 케이블 한계가 옵니다.

 

그래서 등장하는 기술 CPO(Co-Packaged Optics)

이 기술은

• 광 인터커넥트
• 실리콘 포토닉스를 사용합니다.

여기서

• Broadcom → 네트워크 ASIC
• NVIDIA → GPU 플랫폼

둘 다 중요한 역할을 합니다.

핵심 구조

AI 인프라 권력 구조

Compute → NVIDIA
Memory → SK hynix
Network → Broadcom
Manufacturing → TSMC

이 네 축이

AI 반도체 산업의 핵심입니다.

---

투자 관점에서 중요한 포인트

AI 인프라 병목은 계속 이동합니다.

1 GPU
2 HBM
3 Network
4 Power

현재

GPU + HBM

다음

Network

그래서

Broadcom이

“AI 다음 슈퍼사이클” 후보로 이야기됩니다.