AI 추론의 확산이 일반서버 수요의 상향을 이끌고 있다(2025.09.09)

2025.09.09

 

"AI 추론(inference)의 확산이 일반 서버(general-purpose server) 수요를 끌어올린다"는 말은

단순히 GPU 서버만 늘어나는 게 아니라, 그 주변 생태계 전체—특히 범용 CPU 서버—도 함께 필요해진다는 뜻입니다.

 

1. AI 워크로드의 보조 연산 처리

• AI 추론 서버(GPU, AI 가속기)는 모델 계산을 담당하지만, 전처리·후처리 데이터 작업은 대부분 CPU 서버에서 수행됩니다.
• 예를 들어 이미지 인식 서비스라면:
  • GPU → 모델 추론 실행
  • CPU 서버 → 입력 데이터 정리, 결과값 포맷 변환, API 응답 처리
• 추론 요청이 늘수록 이런 보조 연산을 처리할 범용 서버도 같이 늘어나야 합니다.

2. 네트워크·스토리지 I/O 부담 증가

• AI 추론은 짧고 빈번한 요청이 특징입니다(챗봇 응답, 검색 랭킹, 광고 추천 등).
• 요청마다 빠른 입출력(IO)이 필요하므로, 이를 관리하는 프론트엔드 서버·스토리지 서버 수요가 증가합니다.
  
  
• GPU는 코어 계산만 하므로, 나머지 연결·분산·캐싱·DB 처리 등은 일반 서버가 뒷받침해야 합니다.

3. AI 서비스의 대규모 상용화

• AI 추론은 연구용 훈련(training)과 달리 상용 서비스 단계에서 폭발적으로 쓰입니다.
• 검색엔진, 전자상거래 추천, 고객지원 챗봇 등에서 GPU만큼이나 API 관리용 범용 서버가 필수입니다.
  
  
• 특히 클라우드 사업자는 GPU 클러스터와 함께 수많은 범용 서버를 묶어 서비스 안정성을 보장해야 합니다.

4. 전력·비용 최적화 효과

• 모든 요청을 GPU에서 처리하면 비효율적이기 때문에, 일부 경량 연산(간단한 룰 기반 필터링, 로깅 등)은
  CPU 서버에 맡깁니다.
  
  
• 따라서 AI 추론 규모가 커질수록 GPU 서버:일반 서버 = 보완적 구조가 형성됩니다.

 

 

기업별 AI 추론 확산에 따른 일반 서버 수요 증가 현황

1. Hewlett Packard Enterprise (HPE)

• AI-최적화 서버 수요 급증
  HPE는 특히 NVIDIA GPU 기반 AI 서버 판매 급증으로, 2025 회계연도 3분기에 서버 매출이 전년 대비 16% 증가해 49억 달러에 달했습니다. 네트워킹 부문도 54% 증가한 17억 달러를 기록했고, 전체 매출은 시장 예상치를 뛰어넘었습니다.(Reuters)
  
  
• AI 시스템 부문의 급성장
  같은 기간 AI 시스템 사업은 전 분기보다 크게 늘어난 16억 달러 매출을 보였고, 연간 AI 부문 실적은 46억 달러, 남은 인도 대기 중인 주문(backlog)은 37억 달러에 달합니다.(Investors)
  
  
• 요약: HPE는 GPU 서버뿐만 아니라, AI 수요에 대응하기 위한 일반 서버 및 네트워크 인프라 수요도 동시에 증가하고 있습니다.

2. Dell

• “전례 없는 수요” 란 표현 등장
  Dell은 2026 회계연도 1분기에 서버·네트워킹 매출이 63억 달러, 전년 대비 크게 증가했다고 밝혔습니다. 특히 AI 서버 주문의 총액은 121억 달러로, 한 해 이전 AI 주문 전체를 넘어섰습니다.(Investopedia)
  
  
• 요약: GPU 기반 AI 서버 수요의 증가는 Dell의 일반 서버 및 네트워킹 매출 성장까지도 견인하고 있습니다.

3. Foxconn

• 서버 매출이 스마트폰 매출 추월
  2025년 2분기 기준, AI 서버 수요 증가 덕에 **클라우드·네트워킹 제품 매출(41%)**이 **스마트폰 매출(35%)**을 처음 넘어섰습니다. AI 서버 매출은 연간 기준으로 전년 동기 대비 170% 증가, 분기 기준으로는 3배 증가 예상을 기록했습니다.(Financial Times)
  
  
• 요약: AI 인프라의 폭발적 성장으로 전통 제조 라인이 아닌 서버 공급이 폭증하면서 일반 서버 수요도 크게 늘고 있습니다.

4. Broadcom

• AI 인프라 주문 대폭 증가
  Broadcom은 신규 고객으로부터의 $100억 규모 AI 인프라 주문을 바탕으로 2026 회계연도 AI 매출이 크게 상승할 것으로 전망됩니다. Q3 AI 매출은 52억 달러였고, Q4는 62억 달러로 예상됩니다.(Reuters)
  
  
• 이는 GPU 외에도 AI 가속 칩, 네트워킹 장비 등 다양한 범용 서버 관련 구성 요소의 수요 증가와 연결됩니다.

5. Nvidia

• 데이터센터 매출의 상당 부분 추론 기반
  Nvidia의 데이터센터 부문은 추론 수요가 급증하며 전체 매출의 약 40%를 추론 관련 매출이 차지하고 있다는 전망도 있습니다.(Barron's)
  
  
• 또한 AI 서버 시장 자체가 급성장 중이며, 2025년 기준 AI 서버 시장 규모가 크게 확대될 것으로 예측되고 있습니다.(MarketsandMarkets)

“AI 추론의 확산이 일반 서버 수요를 상향시킨다”는 맥락을 뒷받침하는 실제 데이터를 통해 보면:

• GPU 서버 증설 수요가 일반 CPU 기반 서버, 네트워킹 장비, 스토리지 등 인프라 전반의 수요를 늘림
  
  

기업들은 AI 워크로드를 수용하기 위한 전체 시스템 아키텍처를 강화하고 있으며, 이는 전통적인 서버 시장 전체가 동반 성장하고 있다는 증거로 해석할 수 있습니다.

• Reuters
• Financial Times
• Investopedia