SK하이닉스, '계산하는 HBM' 꺼냈다…AI 추론 성능 최대 5.15배

[아이뉴스24 권서아 기자] SK하이닉스가 고대역폭 메모리(HBM)의 베이스다이(HBM 맨 아래층)에 연산 기능을 넣는 '맞춤형(커스텀) HBM'을 차세대 인공지능(AI) 메모리 기술로 제시했다. 데이터를 그래픽처리장치(GPU)까지 옮겨 처리하는 과정을 줄여 대규모언어모델(LLM)의 추론 성능을 최대 5.15배 높일 수 있다는 설명이다.

2일 대만 디지타임스·테크뉴스 등에 따르면 김호식 SK하이닉스 메모리시스템리서치 담당(부사장)은 전날 '세미콘 타이완 2026'에서 커스텀 HBM과 CXL(컴퓨트익스프레스링크) 기반 PNM(근접 메모리 컴퓨팅), D램 연산, 공유 메모리 등을 소개했다.

AI 추론 늘자 '데이터 이동'이 병목

SK하이닉스는 AI의 중심이 '학습'에서 '추론'으로 옮겨가면서 급증하는 메모리 이동에 주목했다. AI 에이전트는 한 번 답을 내는 데 그치지 않고 여러 단계를 반복해 추론한다. 이 과정에서 앞선 대화와 작업 내용을 저장하는 'KV캐시'도 계속 쌓인다.

SK하이닉스는 스스로 판단하고 여러 작업을 수행하는 '멀티 에이전트 환경'에서 생성되는 토큰(AI가 문장을 처리하는 최소 단위)이 기존 워크로드(작업량)보다 최대 15배 늘어날 수 있다고 봤다.

32K 컨텍스트(약 3만2000토큰의 문맥을 한 번에 처리하는 환경)를 사용하는 에이전트 1000개가 동시에 작동하면 KV캐시만 약 10.5테라바이트(TB)가 필요하다. 엔비디아의 '베라 루빈 NVL72 시스템' 전체 HBM 용량의 약 절반에 해당한다.

문제는 이렇게 커진 데이터를 GPU와 메모리 사이에서 계속 옮겨야 한다는 점이다. 김 부사장은 데이터를 이동시키는 데 쓰이는 에너지가 실제 연산보다 수천~수만 배 많을 수 있다고 설명했다.

SK하이닉스가 커스텀 HBM을 제시한 이유도 여기에 있다. HBM 맨 아래층인 베이스다이에 일부 연산 기능을 넣어 데이터를 매번 GPU까지 보내지 않고 메모리 가까이에서 처리하는 방식이다. 이 구조를 적용하면 LLM 추론 성능을 최대 5.15배 높일 수 있다는 설명이다.

현재 세대 제품인 HBM4(6세대)부터는 이런 기능을 넣기도 쉬워졌다. SK하이닉스는 HBM3E(5세대)까지 베이스다이를 자체 기술로 만들었지만 HBM4부터는 세계 1위 반도체 위탁생산(파운드리) 기업인 대만 TSMC의 첨단 로직(연산기능) 공정을 활용한다. 로직 공정은 기존 메모리 공정보다 복잡한 회로와 기능을 넣기 유리하다.

SK하이닉스와 TSMC는 HBM4 베이스다이와 차세대 패키징(반도체 후공정) 기술을 공동 개발하고 있다.

2.5D서 3D로…데이터 이동 거리 더 줄인다

패키징 구조도 데이터 이동을 줄이는 방향으로 바뀐다. 현재 2.5차원(2.5D) 구조는 GPU와 HBM을 하나의 인터포저(칩 연결 기판) 위에 나란히 놓고 데이터를 주고받는다. 이때 데이터 이동에 필요한 에너지는 비트(데이터의 단위)당 약 2~3피코줄(pJ) 수준이다.

향후 3차원(3D) 구조에서는 D램을 신경망처리장치(NPU) 위에 직접 쌓는다. 옆으로 이동하던 데이터를 위아래로 더 짧게 주고받을 수 있어 이동 거리와 전력 소모를 줄일 수 있다. SK하이닉스는 이 경우 데이터 이동 에너지를 비트당 0.2~0.3pJ까지 낮출 수 있다고 봤다.

CXL-PNM도 데이터 이동을 줄이기 위한 기술이다. CXL은 중앙처리장치(CPU)와 GPU, 메모리 등 서로 다른 장치를 연결하는 통신 규격이다. CXL로 연결된 메모리 장치에 연산 기능을 넣어, 데이터를 CPU나 GPU로 모두 옮기지 않고 메모리 쪽에서 일부 계산을 처리한다.

더 나아가 D램 자체 회로를 이용해 기본적인 연산을 수행하는 기술도 연구하고 있다.

SK하이닉스는 메모리를 여러 연산장치가 함께 쓰는 구조도 제시했다. AI 연산의 앞 단계인 프리필(입력 문맥 처리) 과정에서 만든 KV캐시를 디코드(답변 생성) 서버로 계속 복사하지 않고 공용 메모리에 두는 방식이다.

여러 서버가 같은 메모리에 직접 접근하면 데이터 복사를 줄여 대역폭과 전력, 처리 지연 부담을 낮출 수 있다. SK하이닉스는 향후 CXL 기반 '패브릭 연결 메모리 풀'(여러 서버가 함께 쓰는 메모리 공간)로 확대할 수 있다고 설명했다. 알리바바 클라우드의 '벨루가(Beluga)'와 SK하이닉스의 '나이아가라(Niagara)'가 관련 사례로 소개됐다.