2024년에 AI 서버를 기반으로 AI PC와 기타 단말 장치로 확장되는 엣지 AI(Edge AI) 애플리케이션의 주요 확장을 예상

2024.01.17

 

DRAMeXchange - 【Market View】2024 Commercialization of Copilot to Boost AI Server and AI PC Development, Says TrendForce 

 

 

2024 Commercialization of Copilot to Boost AI Server and AI PC Development, Says TrendForce

 

TrendForce anticipates 2024 to mark a significant expansion in edge AI applications, leveraging the groundwork laid by AI servers and branching into AI PCs and other terminal devices. The global AI server market—encompassing AI Training and AI Inference—is projected to exceed 1.6 million units, growing at an impressive rate of 40%. Additionally, CSPs are expected to ramp up their involvement in this sector.

 

TrendForce는 2024년에 AI 서버를 기반으로 AI PC와 기타 단말 장치로 확장되는 엣지 AI(Edge AI) 애플리케이션의 주요 확장을 예상합니다. 전 세계 AI 서버 시장은 AI 트레이닝과 AI 추론을 포함하여 160만 대를 초과하고 40%의 인상적인 성장률을 보일 것으로 전망됩니다. 또한, CSPs는 이 분야에 참여를 늘릴 것으로 기대됩니다.

 

Edge AI applications, known for their stringent requirements, are shifting toward AI PCs. This shift aims to decentralize AI server workloads and broaden the AI usage spectrum. TrendForce posits AI PCs are expected to meet Microsoft’s benchmark of 40 TOPS in computational power. With new products meeting this threshold expected to ship in late 2024, significant growth is anticipated in 2025, especially following Intel’s release of its Lunar Lake CPU by the end of 2024.

 

엄격한 요구 사항으로 알려진 엣지 AI 애플리케이션은 AI PC로 전환되고 있습니다. 이 전환은 AI 서버 작업 부하를 분산하고 AI 사용 범위를 넓히는 것을 목표로 합니다. TrendForce는 AI PC가 Microsoft의 40 TOPS 컴퓨팅 파워 기준을 충족할 것으로 예상합니다. 2024년 말에 이 기준을 충족하는 새 제품이 출시될 것으로 예상되며, 특히 2024년 말에 Intel의 Lunar Lake CPU가 출시된 후 2025년에 상당한 성장이 예상됩니다.

 

The AI PC market is currently propelled by two key drivers: Firstly, demand for terminal applications, mainly dominated by Microsoft through its Windows OS and Office suite, is a significant factor. Microsoft is poised to integrate Copilot into the next generation of Windows, making Copilot a fundamental requirement for AI PCs. Secondly, Intel, as a leading CPU manufacturer, is advocating for AI PCs that combine CPU, GPU, and NPU architectures to enable a variety of terminal AI applications.

 

현재 AI PC 시장은 두 가지 주요 요인에 의해 추진되고 있습니다: 첫째, 주로 Microsoft의 Windows OS와 Office 스위트를 통해 지배되는 터미널 애플리케이션에 대한 수요가 중요한 요소입니다. Microsoft는 다음 세대 Windows에 Copilot을 통합할 계획이며, 이는 AI PC에 대한 기본 요구 사항이 될 것입니다. 둘째, 주요 CPU 제조업체인 Intel은 CPU, GPU, NPU 아키텍처를 결합한 AI PC를 지지하고 있으며, 이는 다양한 터미널 AI 애플리케이션을 가능하게 할 것입니다.

 

 

Introduced around the end of 2023, Qualcomm’s Snapdragon X Elite platform is set to be the first to meet Copilot standards, with shipments expected in the second half of 2024. This platform is anticipated to deliver around 45 TOPS. Following closely behind, AMD’s Ryzen 8000 series (Strix Point) is also expected to meet these requirements. Intel’s Meteor Lake, launched in December 2023 with a combined CPU+GPU+NPU power of 34 TOPS, falls short of Microsoft’s standards. However, Intel’s upcoming Lunar Lake might surpass the 40 TOPS threshold by the end of the year.

 

2023년 말에 출시된 Qualcomm의 Snapdragon X Elite 플랫폼은 Copilot 기준을 충족하는 최초의 제품으로, 2024년 하반기에 출하될 것으로 예상됩니다. 이 플랫폼은 약 45 TOPS를 제공할 것으로 예상됩니다. 그 뒤를 이어, AMD의 Ryzen 8000 시리즈 (Strix Point)도 이 요구 사항을 충족할 것으로 예상됩니다. 2023년 12월에 출시된 Intel의 Meteor Lake는 CPU+GPU+NPU의 결합 파워가 34 TOPS로 Microsoft의 기준에 미치지 못하지만, Intel의 다가오는 Lunar Lake는 연말까지 40 TOPS 임계값을 넘을 수 있습니다.

 

The race among Qualcomm, Intel, and AMD in the AI PC market is set to intensify the competition between the x86 and Arm CPU architectures in the Edge AI market. Qualcomm’s early compliance with Microsoft’s requirements positions it to capture the initial wave of AI PC opportunities, as major PC OEMs like Dell, HPE, Lenovo, ASUS, and Acer develop Qualcomm CPU-equipped models in 2024, presenting a challenge to the x86 camp.

 

Qualcomm, Intel, AMD 간의 AI PC 시장 경쟁은 엣지 AI 시장에서 x86과 Arm CPU 아키텍처 간의 경쟁을 강화할 것으로 보입니다. Microsoft의 요구 사항을 조기에 준수한 Qualcomm은 AI PC의 초기 기회를 포착할 수 있는 위치에 있으며, Dell, HPE, Lenovo, ASUS, Acer와 같은 주요 PC OEM들이 2024년에 Qualcomm CPU를 장착한 모델을 개발함으로써 x86 진영에 도전을 제기할 것입니다.

 

AI PCs are expected to drive growth in average PC memory capacity and boost the proportion of LPDDR in PC DRAM 

 

AI PC는 평균 PC 메모리 용량의 성장을 촉진하고 PC DRAM에서 LPDDR의 비율을 증가시킬 것으로 예상됩니다.

 

Microsoft has set the baseline for DRAM in AI PCs at 16 GB. In the long term, TrendForce projects that AI PCs will catalyze an increase in annual demand for PC DRAM bits, with consumer upgrade trends further boosting this demand.

 

Microsoft는 AI PC에서 DRAM의 기준을 16 GB로 설정했습니다. 장기적으로 TrendForce는 AI PC가 연간 PC DRAM 비트 수요 증가를 촉진하고 소비자 업그레이드 추세가 이 수요를 더욱 촉진할 것으로 전망합니다.

 

Lastly, the CPUs meeting Microsoft’s 40 TOPS requirement for NPUs include Qualcomm’s Snapdragon X Elite, AMD’s Strix Point, and Intel’s Lunar Lake. A notable feature of these CPUs is their adoption of LPDDR5x over the current mainstream DDR SO-DIMM modules. This choice is driven by the need for faster data transmission; DDR5 speeds range from 4800–5600 Mbps, whereas LPDDR5x reaches 7500–8533 Mbps, aiding AI PCs that require quicker language processing and responsiveness. Consequently, TrendForce forecasts that LPDDR will represent approximately 30–35% of PC DRAM demand this year, with future increases driven by the specifications set forth by AI PC CPU manufacturers, leading to a further rise in LPDDR adoption.

 

마지막으로, Microsoft의 40 TOPS NPU 요구 사항을 충족하는 CPU에는 Qualcomm의 Snapdragon X Elite, AMD의 Strix Point, Intel의 Lunar Lake이 포함됩니다. 이 CPU의 주목할 만한 특징은 현재 주류인 DDR SO-DIMM 모듈 대신 LPDDR5x를 채택한 것입니다. 이 선택은 더 빠른 데이터 전송이 필요하기 때문에 이루어졌으며, DDR5의 속도는 4800-5600 Mbps인 반면, LPDDR5x는 7500-8533 Mbps에 달합니다. 이는 더 빠른 언어 처리와 반응성이 필요한 AI PC에 도움이 됩니다. 따라서, TrendForce는 LPDDR가 올해 PC DRAM 수요의 약 30-35%를 차지할 것으로 예측하며, AI PC CPU 제조업체가 설정한 사양에 의해 LPDDR 채택이 더욱 증가할 것으로 전망합니다.