삼성전자, 인공지능 탑재 메모리 제품군 확대

2021.08.24

삼성전자, 인공지능 탑재 메모리 제품군 확대 | 삼성 반도체 (samsung.com)

 

삼성전자가 AI엔진을 탑재한 메모리 반도체 제품군을 확대한다.

삼성전자는 메모리와 시스템반도체의 융복합화를 주도하며, 다양한 글로벌 기업들과 협력을 통해 차세대 메모리 반도체 생태계를 빠르게 확대해 나갈 계획이다.

삼성전자는 24일 온라인으로 개최된 Hot Chips 학회에서 지난 2월 업계 최초로 개발한 HBM-PIM 뿐만 아니라 PIM 기술을 적용한 다양한 제품군과 응용사례를 소개했다.
※ Hot chips : 업계에서 가장 주목하는 차세대 반도체 기술이 공개되는 학회로 주요 반도체 업체 중심으로 1989년부터 매년 개최되고 있음

삼성전자는 이날 학회에서 D램 모듈에 AI엔진을 탑재한   ‘AXDIMM(Acceleration DIMM)’,

모바일 D램과 PIM을 결합한 ‘LPDDR5-PIM’ 기술, HBM-PIM의 실제 시스템 적용 사례를 각각 소개했다.

AXDIMM은 PIM 기술을 칩단위에서 모듈단위로 확장한 것으로 D램 모듈에 인공지능 엔진을 장착한 제품이다.

D램 모듈의 동작 단위인 각 Rank에 AI엔진을 탑재하고 병렬 처리를 극대화해 성능을 높이고, AI엔진을 통해 D램 모듈내부에서 연산이 가능해져 CPU와 D램 모듈간의 데이터 이동이 줄어들어 AI 가속기 시스템의 에너지 효율을 높일 수 있다.
※ Rank : DRAM 모듈에서 메모리 칩의 일부 또는 전체를 사용하여 생성되는 데이터의 한 블록

또한 기존 D램 모듈에 탑재된 버퍼칩에 AI 엔진을 탑재하는 방식으로 기존 시스템 변경 없이 적용이 가능하다.

현재 AXDIMM은 글로벌 고객사들의 서버 환경에서 성능 평가가 진행되고 있으며, 성능은 약 2배 향상,

시스템 에너지는 40% 이상 감소가 확인됐다.
※ AI 가속기: 인공지능을 실행하기 위한 전용 하드웨어

삼성전자는 초고속 데이터 분석 영역뿐만 아니라 모바일 분야까지 PIM을 확대 적용한 ‘LPDDR5-PIM’ 기술을 공개했다.

PIM 기술이 모바일 D램과 결합할 경우 데이터센터와 연결 없이 휴대폰 독자적으로 AI 기능을 수행할 수 있는 On-Device AI의 성능과 에너지 문제를 효과적으로 해결할 수 있을 것으로 예상되며, 시뮬레이션 결과, 음성인식, 번역,

챗봇 등에서 2배 이상의 성능 향상과 60% 이상의 에너지 감소가 확인됐다.
※ On-Device AI : 멀리 떨어진 클라우드 서버를 거치지 않고 스마트기기 자체적으로 정보를 수집하고 연산

또한 삼성전자는 지난 2월 공개한 HBM-PIM을 실제 시스템에 탑재한 검증 결과도 Hot Chips 학회에서 발표했다.

FPGA 개발 업체인 미국 자일링스(Xilinx)에서 이미 상용화 중인 AI 가속기 시스템에 HBM-PIM을 탑재했을 경우

기존 HBM2를 이용한 시스템 대비 성능은 약 2.5배 높아지고, 시스템 에너지는 60% 이상 감소됨을 공개하며

참석자들로부터 큰 관심을 받았다.
※ AI 가속기 시스템 : 버텍스 울트라스케일+(Virtex UltraScale+) 알베오(Alveo)

삼성전자는 이와 같이 PIM 이라는 혁신 기술을 D램 공정에 접목시켜 다양한 응용처에서 실제 성능과 에너지 효율이 대폭 향상됐음을 강조하며 PIM기술이 빅데이터 시대의 새로운 메모리 패러다임이 될 것임을 강조했다.

삼성전자 메모리사업부 DRAM 개발실 김남승 전무는“HBM-PIM은 업계 최초의 인공지능 분야 맞춤형 메모리 솔루션으로, 이미 고객사들의 AI 가속기에 탑재되어 평가되고 있어 상업적 성공의 가능성을 보였으며, 향후 표준화 과정을 거쳐 차세대 슈퍼컴퓨터 및 인공지능용 HBM3, On-Device AI용 모바일 메모리 및 데이터센터용 D램 모듈로 확장할 예정”이라고 밝혔다.

자일링스의 상품기획 시니어 디렉터 아룬 바라다라잔 라자고팔(Arun Varadarajan Rajagopal)은 “자일링스는 Virtex UltraScale+ HBM 제품군을 시작으로 데이터센터, 네트워킹, 실시간 신호처리 애플리케이션을 위한 고성능 솔루션을 지원하기 위해 삼성전자와 협력하고 있으며, 최근 새롭고 흥미로운 Versal HBM 시리즈 제품을 선보였다”고 하며, “인공지능 응용 분야에서 HBM-PIM의 성능과 에너지 효율 향상을 위한 시스템 평가를 위해 삼성전자와 지속 협력할 것”이라고 밝혔다.

기업용 소프트웨어 업체인 SAP의 HANA core research & innovation 총괄 올리버 렙홀츠(Oliver Rebholz)는

“AXDIMM을 활용한 시스템의 성능 예측 평가에서 성능 향상과 높은 에너지 효율이 기대된다”며,

“SAP는 인메모리 데이터베이스 플랫폼 ‘SAP-HANA’ 의 성능 향상을 위해 삼성전자와 협력을 지속해 나갈 것”이라고

밝혔다.

삼성전자는 내년 상반기내 다양한 고객사들의 AI 가속기를 위한 PIM 기술 플랫폼의 표준화와 에코 시스템 구축을

완료하여 인공지능 메모리 시장을 확대해 나갈 예정이다.

----------------------------

2021.08.25

메모리에 AI 심은 삼성-SK하이닉스, PIM 공략해 ‘137조원’ AI 반도체 시장 선점 본격 시동 - 녹색경제신문 (greened.kr)

 

메모리에 AI 심은 삼성-SK하이닉스, PIM 공략해 ‘137조원’ AI 반도체 시장 선점 본격 시동

 

-세계 AI 반도체 시장 10년 뒤 6배 성장 ‘137조원’ 전망...‘메모리 강자’ 삼성-SK은 PIM 주목
-삼성전자, D램에 AI 탑재한 'AXDIMM' 개발...칩 단위에서 모듈 단위로 PIM 기술 적용 범위 확대
-SK하이닉스도 자체 지능형 메모리 ‘AIM’ 등 개발 언급...“대역폭 10배 개선하고 전력 효율 7배 높일 수 있어

 

미래 먹거리로 지목되는 인공지능(AI) 반도체 시장 선점을 위해 삼성전자와 SK하이닉스가 치열한 기술 경쟁을

펼치고 있다.

글로벌 ‘메모리 강자’인 이들 업체가 현재 주목하고 있는 기술은 바로 PIM(Processing-in-Memory),

메모리 내부에 AI 기능을 탑재해 연산 작업을 가능하게 하는 지능형 반도체다.

한 반도체업계 관계자는 녹색경제신문에

“고사양·고성능 IT제품들이 다루는 데이터양 자체가 계속 늘고 있는 상황 속에서 AI 기술은

반도체 산업 전체가 추구하는 방향이 됐다”라며, “메모리 부문 세계 1, 2위를 다투는 삼성전자와

SK하이닉스 모두 차세대 메모리 개발에 있어서 PIM 기술 개발에 적극적으로 나서고 있다”라고 전했다.

실제 세계 AI 반도체 시장의 전망이 매우 밝다.

최근 정보통신정책연구원(KISDI)에 따르면 AI 반도체의 글로벌 시장 규모는 작년 184억 달러(한화 약 21조원)에서 약 10년 뒤 2030년이 되면 무려 6배 성장해 총 1179억 달러(한화 약 137조원)에 이를 것으로 전망된다.

세계 내로라하는 반도체기업들도 각 분야에서 AI 반도체 시장 선점을 위해 앞다퉈 경쟁 중이다. CPU 시장에서는 인텔과 AMD가, GPU 시장에서는 엔비디아가 잇따라 신제품을 선보이고 있으며, 특정 용도용 집적 회로인 ASIC의 경우, 구글·마이크로소프트 등 IT서비스 기업을 비롯해 테슬라·애플 등 기존 반도체 고객사 기업들까지 자체 개발에 나서고 있다.

메모리 부문 최강자, 삼성전자와 SK하이닉스가 AI 반도체 시장에서 가진 최대 강점은 PIM이다.

정부 역시 2020년부터 2029년까지 약 1조원을 투입하는 ‘차세대지능형반도체 기술개발사업’의 일환으로

내년부터 4000억원 규모의 PIM 반도체 기술 개발 사업을 본격적으로 추진하겠다고 발표했으며,

삼성전자와 SK하이닉스가 이 사업의 추진위원회로 참여하겠다는 의사를 내비친 것으로 전해졌다.

삼성, D램 모듈에 PIM 탑재한 ‘AXDIMM’ 선보여...SK하이닉스도 자체 지능형 메모리 AIM 개발 중

출처 : 녹색경제신문(http://www.greened.kr)

 

------------------------------

2021.08.27

Samsung brings PIM technology to wider applications (digitimes.com)

Samsung Electronics has showcased its latest advancements with processing-in-memory (PIM) technology, including the successful integration of its PIM-enabled high bandwidth memory (HBM-PIM) into a commercialized accelerator system, and broadened PIM applications to embrace DRAM modules and mobile memory.

In February, Samsung introduced the industry's first HBM-PIM (Aquabolt-XL), which incorporates the AI processing function into Samsung's HBM2 Aquabolt, to enhance high-speed data processing in supercomputers and AI applications.

 

The HBM-PIM has since been tested in the Xilinx Virtex Ultrascale+ (Alveo) AI accelerator, where it delivered an almost 2.5X system performance gain as well as more than a 60% cut in energy consumption.

 

Samsung also introduced DRAM modules powered by PIM technology. The Acceleration DIMM (AXDIMM) brings processing to the DRAM module itself, minimizing large data movement between the CPU and DRAM to boost the energy efficiency of AI accelerator systems.

Currently being tested on customer servers, the AXDIMM can offer approximately twice the performance

in AI-based recommendation applications and a 40% decrease in system-wide energy usage, Samsung claimed.

 

Samsung's LPDDR5-PIM mobile memory technology can provide independent AI capabilities without data center connectivity, the company indicated. Simulation tests have shown that the LPDDR5-PIM can more than double performance while reducing energy usage by over 60% when used in applications such as voice recognition, translation and chatbot.

 

In addition, Samsung plans to expand its AI memory portfolio by working with other industry leaders to complete standardization of the PIM platform in the first half of 2022. The company will also continue to foster a highly robust PIM ecosystem in assuring wide applicability across the memory market.

---------------------------------

 

삼성전자는 PIM 기술이 빅데이터 시대의 새로운 메모리 패러다임이 될 것이라고 강조했다.

김남승 삼성전자 메모리사업부 D램 개발실 전무는 "HBM-PIM은 업계 최초의 AI 분야 맞춤형 메모리 솔루션으로,

이미 고객사들의 AI 가속기에 탑재돼 평가되고 있어 상업적 성공의 가능성을 보였다"며

"향후 표준화 과정을 거쳐 차세대 슈퍼컴퓨터 및 AI용 HBM3, 온-디바이스 AI용 모바일 메모리,

데이터센터용 D램 모듈로 확장할 예정"이라고 설명했다.

CPU-메모리로 이뤄진 전통적인 컴퓨터 설계기법인 폰 노이만 구조에서는 CPU와 메모리 사이에 하나의 통로로 통해

순차적으로 데이터가 이동하며 처리되는데(직렬처리), 처리해야 할 데이터 양이 많아지면 지연현상이 생긴다.

이를 '폰 노이만 병목현상'이라고 한다.

이를 해결하기 위해 반도체 학계나 업계에서는 메모리 내부에서 일부 연산과 병렬처리가 가능한 PIM 구조가 제안됐고, 삼성전자가 AI엔진을 HBM에 탑재해 제품화를 성공한 것이다. 

 

PIM 기술을 통해 고객들은 기존 하드웨어나 소프트웨어의 큰 변경없이 보다 강력한 AI 가속기 시스템을

구축할 수 있게 됐다.

 

 

 

출처 https://gigglehd.com/gg/10760051

'폰 노이만' 한계도 깨부신 삼성, 메모리·시스템 장벽 허문다 - 컴퓨터 / 하드웨어 - 기글하드웨

 

---------------------------------------

Samsung Electronics markets PIM chips at Hot Chip 33 (joins.com)

Processing-in-memory (PIM) integrates the computing function on top of data storage using artificial intelligence.  
 
“PIM-enabled High Bandwidth Memory (HBM-PIM) is the industry’s first AI-tailored memory solution being tested in customer AI-accelerator systems, demonstrating tremendous commercial potential,” said Kim Nam-sung, senior vice president of DRAM Product & Technology at Samsung Electronics.  
 

----------------

2021.09.07

2030년 137조원 시장 열린다..지능형반도체 한국 선도할까 (daum.net)

정보통신정책연구원(KISDI)에 따르면 AI 반도체의 세계 시장 규모는 지난해 184억달러(약 21조원)에서 약 10년 뒤인 2030년 6배 성장해 총 1179억달러(약 137조원)에 이를 것으로 전망됩니다. AI반도체가 시스템 반도체 시장에서 차지하는 비중도 2020년 8%에서 2030년 31% 수준으로 확대될 것으로 예상됩니다.