아마존, Nvidia에 도전하기 위해 슈퍼컴퓨터 및 새로운 서버 발표

2024.12.04

트레이니엄2는 HBM 96GB를 사용.(추정:하이닉스의 HBM을 사용하는 것으로 추정).

엔비디아 GPU의 대항마로 자리매김하고 있으며 애플도 트레이니엄2를 사용하기로 함.

트레이니엄3는 2025년도에 발매 예정

 

-----------------------------------------------------------------------

Amazon Announces Supercomputer, New Server in Push To Take on Nvidia

아마존, Nvidia에 도전하기 위해 슈퍼컴퓨터 및 새로운 서버 발표

 

KEY TAKEAWAYS

• Amazon is building an artificial intelligence (AI) supercomputer made of its in-house Trainium chips and also a new server that it said will be used by AI startup Anthropic.
• Amazon recently invested an added $4 billion in Anthropic.
• The new chips and servers are part of Amazon Web Services' push to make its homegrown Trainium a "viable alternative" to Nvidia's GPUs, according to The Wall Street Journal.

핵심 요약

• 아마존은 자체 개발한 Trainium 칩으로 구성된 인공지능(AI) 슈퍼컴퓨터와 AI 스타트업 Anthropic에서 사용할 새로운 서버를 구축 중입니다.
• 아마존은 최근 Anthropic에 40억 달러를 추가 투자했습니다.
• 월스트리트 저널에 따르면, 이 새로운 칩과 서버는 아마존 웹 서비스(AWS)가 자체 개발한 Trainium을 Nvidia의 GPU에 대한 "현실적인 대안"으로 만들기 위한 노력의 일환입니다.

Amazon (AMZN) is building an artificial intelligence (AI) supercomputer made of its in-house Trainium chips and also a new server that it said will be used by AI startup Anthropic.

 

아마존(AMZN)은 자체 개발한 Trainium 칩으로 구성된 인공지능(AI) 슈퍼컴퓨터와 AI 스타트업 Anthropic에서 사용할 새로운 서버를 구축하고 있습니다.

 

The "Ultracluster" announced by the tech giant's Amazon Web Services (AWS) cloud computing arm was designed by Amazon's chip lab in Austin, Texas, The Wall Street Journal reported. Amazon last month invested an additional $4 billion in Anthropic, whose Claude chatbot is a rival to OpenAI's ChatGPT.

 

**"울트라클러스터(Ultracluster)"**는 아마존의 클라우드 컴퓨팅 부문인 Amazon Web Services(AWS)가 발표했으며, 텍사스주 오스틴에 위치한 아마존의 칩 연구소에서 설계되었다고 월스트리트 저널이 보도했습니다.
아마존은 지난달, OpenAI의 ChatGPT와 경쟁하는 Claude 챗봇을 개발한 Anthropic에 40억 달러를 추가 투자한 바 있습니다.

 

"Together with Anthropic, AWS is building an EC2 UltraCluster of Trn2 UltraServers—named Project Rainier—containing hundreds of thousands of Trainium2 chips and more than 5x the number of exaflops used to train their current generation of leading AI models," Amazon said.

An exaflop is a measure of a supercomputer’s performance.

 

"Anthropic과 함께 AWS는 트레이니움2(Trainium2) 칩 수백만 개와 현재 최첨단 AI 모델을 학습시키는 데 사용된 엑사플롭(exaflop)의 5배 이상의 성능을 제공하는 EC2 울트라클러스터(UltraCluster) **트레니움2 울트라서버(UltraServers)**를 구축하고 있습니다. 이 프로젝트는 Project Rainier라는 이름으로 진행됩니다,"라고 아마존은 밝혔습니다.

**엑사플롭(exaflop)**은 슈퍼컴퓨터 성능을 측정하는 단위입니다.

 

Trainium Being Positioned as 'Viable Alternative' To Nvidia GPUs, WSJ Says

According to the Journal, the new chips and servers highlight AWS's commitment to the homegrown Trainium it is positioning as a "viable alternative" to the graphics processing units (GPUs) sold by Magnificent Seven rival Nvidia (NVDA).

Amazon shares, which are 0.7% higher in premarket trading, have gained 40% year-to-date through Tuesday.

Read the original article on Investopedia

 

Trainium, Nvidia GPU의 ‘현실적인 대안’으로 자리매김 중, WSJ 보도
*월스트리트저널(WSJ)*에 따르면, AWS는 자체 개발한 Trainium을 경쟁사 Nvidia(NVDA)가 판매하는 그래픽 처리 장치(GPU)에 대한 "현실적인 대안"으로 자리매김시키고 있습니다. 이번 신제품 칩과 서버는 AWS가 Trainium에 대해 얼마나 헌신적인지를 강조합니다.

Amazon의 주가는 화요일까지 연초 대비 40% 상승했으며, 현재 프리마켓 거래에서 0.7% 상승 중입니다.

원문 기사는 Investopedia에서 읽을 수 있습니다.

---------------------------------------------------------------------------

 

(해석:

트레니엄2(Trainium2) 칩은 아마존 웹 서비스(AWS)가 개발한 차세대 인공지능(AI) 학습용 전용 칩입니다. 이 칩은 기존의 GPU(그래픽 처리 장치) 기반 AI 학습 솔루션에 대한 대안으로 설계되었으며, 특히 고성능과 효율성을 목표로 만들어졌습니다.

---

트레니엄2 칩의 주요 특징

1. 고성능 AI 학습
   • 트레니엄2는 대규모 AI 모델(예: 자연어 처리, 생성형 AI, 이미지 및 음성 인식 모델)을 더 빠르고 효율적으로 학습시키도록 설계되었습니다.
   • 아마존은 이 칩이 경쟁사의 GPU, 특히 Nvidia의 GPU 대비 비용 및 에너지 효율성이 뛰어나다고 주장합니다.
2. 초대규모 데이터 처리
   • 대규모 데이터를 처리하기 위한 병렬 연산 능력을 갖추고 있으며, 기존의 AI 학습 속도를 크게 개선합니다.
   • 트레니엄2는 엑사플롭(exaflop) 단위의 연산 능력을 제공할 수 있도록 설계되어, 슈퍼컴퓨터 환경에서 대규모 AI 작업에 최적화되어 있습니다.
3. AWS EC2와 통합
   • 트레니엄2는 아마존의 클라우드 서비스 플랫폼(AWS)에서 제공되는 EC2 인스턴스와 통합되어 사용됩니다.
   • EC2 Trn2 인스턴스는 이 칩을 기반으로 동작하며, 대규모 AI 학습 작업을 지원합니다.
4. 효율적인 비용 구조
   • 트레니엄2는 높은 성능뿐만 아니라, AI 학습 비용을 줄이는 데 초점을 맞췄습니다. 이는 클라우드 환경에서 AI 프로젝트를 수행하는 기업들에게 큰 장점입니다.
5. 확장성
   • 트레니엄2는 AWS의 인프라 내에서 쉽게 확장 가능한 클러스터로 구성될 수 있습니다.
   • "울트라클러스터(Ultracluster)"와 같은 대규모 AI 인프라를 구축하여 대규모 연산 작업을 수행할 수 있습니다.

---

활용 사례

• 생성형 AI 모델 학습
  GPT, Claude, ChatGPT 등 초대형 언어 모델의 학습에 적합합니다.
• 이미지 및 음성 처리
  이미지 생성 및 음성 인식 기술을 학습시키는 데 사용됩니다.
• 자연어 처리
  자연어 이해(NLU)와 텍스트 생성 작업에 활용됩니다.

---

트레니엄2와 기존 GPU의 차이점

• 전용 설계: 트레니엄2는 AI 학습에만 최적화되어, 일반적인 GPU보다 특정 AI 워크로드에서 더 뛰어난 성능을 제공합니다.
• 비용 효율성: Nvidia GPU보다 단위 비용이 낮으며, 전력 소모가 적습니다.
• AWS 최적화: AWS 플랫폼과 완벽하게 통합되어 있어, 클라우드 환경에서 쉽게 사용할 수 있습니다.

---

결론

트레니엄2는 AWS가 AI 학습 시장에서 Nvidia와 같은 경쟁자를 따라잡기 위해 개발한 최첨단 칩입니다. 성능과 비용 효율성에서 강점을 가지고 있으며, 특히 대규모 AI 모델의 학습을 가속화하는 데 적합합니다. AI 및 클라우드 시장에서 AWS의 입지를 강화하는 중요한 기술로 평가받고 있습니다.

 

질문: 트레나엄2에는 몇GB의 HBM메모리가 장착되나요?

 

 

아마존 웹 서비스(AWS)의 **Trn1 인스턴스**는 각 인스턴스에 총 512GB의 공유 고대역폭 메모리(HBM)를 탑재하고 있으며, 이는 총 메모리 대역폭이 9.8Tb/s에 달합니다. 

------------------------

 

아마존 웹 서비스(AWS)의 차세대 인공지능(AI) 학습용 가속기인 트레이니엄2(Trainium2) 칩은 **96GB의 고대역폭 메모리(HBM)**를 탑재하고 있습니다.

AnandTech

이는 이전 세대인 트레이니엄1의 32GB HBM에 비해 메모리 용량이 세 배 증가한 것입니다.

Next Platform

이러한 메모리 확장은 대규모 AI 모델의 학습 시 더 많은 데이터를 신속하게 처리할 수 있게 하여, 전반적인 성능 향상에 기여합니다.

 

2023.11.30

Amazon's Trainium2 AI Accelerator Features 96 GB of HBM, Quadruples Training Performance

Amazon Web Services this week introduced Trainium2, its new accelerator for artificial intelligence (AI) workload that tangibly increases performance compared to its predecessor, enabling AWS to train foundation models (FMs) and large language models (LLMs) with up to trillions of parameters. In addition, AWS has set itself an ambitious goal to enable its clients to access massive 65 'AI' ExaFLOPS performance for their workloads.

 

이번 주 Amazon Web Services(AWS)는 인공지능(AI) 워크로드를 위한 새로운 가속기인 Trainium2를 발표했습니다. 이 가속기는 이전 모델과 비교하여 성능을 대폭 향상시켜 AWS가 수조 개의 파라미터를 가진 파운데이션 모델(FM) 및 대규모 언어 모델(LLM)을 훈련할 수 있도록 지원합니다. 또한 AWS는 고객들이 워크로드에서 최대 65 AI 엑사플롭스(ExaFLOPS)에 달하는 방대한 성능에 접근할 수 있도록 하는 야심 찬 목표를 세웠습니다.

 

The AWS Trainium2 is Amazon's 2nd Generation accelerator designed specifically for FMs and LLMs training. When compared to its predecessor, the original Trainium, it features four times higher training performance, two times higher performance per watt, and three times as much memory – for a total of 96GB of HBM. The chip designed by Amazon's Annapurna Labs is a multi-tile system-in-package featuring two compute tiles, four HBM memory stacks, and two chiplets whose purpose is undisclosed for now.

 

AWS Trainium2는 대규모 언어 모델(LLM) 및 파운데이션 모델(FM) 훈련을 위해 Amazon이 설계한 2세대 가속기입니다. 이전 버전인 Trainium과 비교하여 훈련 성능이 4배 향상되었고, 와트당 성능은 2배 증가했으며, 메모리는 3배 늘어나 총 96GB의 HBM을 제공합니다. Amazon의 Annapurna Labs가 설계한 이 칩은 멀티 타일 시스템-인-패키지 구조로, 두 개의 컴퓨팅 타일, 네 개의 HBM 메모리 스택, 그리고 목적이 아직 공개되지 않은 두 개의 칩렛으로 구성되어 있습니다.

 

Amazon notably does not disclose specific performance numbers of its Trainium2, but it says that its Trn2 instances are scale-out with up to 100,000 Trainium2 chips to get up to 65 ExaFLOPS of low-precision compute performance for AI workloads. Which, working backwards, would put a single Trainium2 accelerator at roughly 650 TFLOPS. 65 EFLOPS is a level set to be achievable only on the highest-performing upcoming AI supercomputers, such as the Jupiter. Such scaling should dramatically reduce the training time for a 300-billion parameter large language model from months to weeks, according to AWS.

 

Amazon은 Trainium2의 구체적인 성능 수치를 공개하지 않았지만, Trn2 인스턴스가 최대 10만 개의 Trainium2 칩을 확장 배치하여 AI 워크로드를 위한 저정밀 컴퓨팅 성능에서 최대 65 엑사플롭스(ExaFLOPS)를 달성할 수 있다고 밝혔습니다. 이를 역산하면 단일 Trainium2 가속기의 성능은 약 650 테라플롭스(TFLOPS) 수준으로 추정됩니다. 65 엑사플롭스는 Jupiter와 같은 차세대 고성능 AI 슈퍼컴퓨터에서만 달성 가능한 수준으로 설정되어 있습니다. AWS에 따르면, 이러한 확장성을 통해 3,000억 개의 파라미터를 가진 대규모 언어 모델의 훈련 시간을 몇 달에서 몇 주로 대폭 단축할 수 있을 것으로 예상됩니다.