ทันเอไอ

Micron, AI '메모리 장벽' 위기 심화 지적… HBM이 프로세서 성장 못 따라가

Micron은 AI 시스템의 HBM 메모리 병목 현상이 날로 심각해지고 있으며, 연산 속도가 대역폭보다 3배 더 빠르게 증가했다고 밝혔습니다.

Micron의 HBM 아키텍처 펠로우인 Raghu Sreeramaneni는 칩 학회 Hot Chips 2026에서 AI 산업의 큰 과제를 공개하며, 하드웨어의 불균형한 성장에 따라 '메모리 장벽(Memory Wall)' 문제가 계속해서 심화되고 있다고 밝혔습니다.

발표에 따르면, AI 가속기의 연산 성능(Compute TFLOPS)은 2년마다 평균 약 3배 증가한 반면, HBM(High Bandwidth Memory)과 같은 고속 메모리의 대역폭은 같은 기간 2배 미만으로 증가했습니다. 이처럼 벌어지는 격차로 인해 프로세서는 데이터를 송수신하는 데 시간을 낭비하게 되며, 대규모 AI 시스템의 주요 병목 현상으로 작용하고 있습니다.

또한 Micron은 메타(Meta)의 Llama 3 모델 학습 과정에서 발생한 전체 중단 문제 중 HBM 관련 결함이 무려 17%를 차지했다는 흥미로운 통계도 인용했습니다.

물리적 제약 측면에서, 12단 HBM이 적층된 차세대 시스템-in-package GPU 모듈은 메모리 실리콘 면적이 전체 실리콘의 약 90%를 차지하며, 이는 GPU 칩 자체보다 약 8배 더 큽니다. 이는 열 및 열저항에 직접적인 영향을 미칩니다.

이 문제를 해결하기 위해 Micron은 하이브리드 본딩(Hybrid Bonding)이나 퓨전 본딩(Fusion Bonding) 같은 첨단 패키징(Advanced Packaging) 혁신과 다이 대 다이(Die-to-Die) 인터페이스, 그리고 향후 전력 손실을 줄이고 발열 문제를 관리하기 위한 프로세싱 인 메모리(PIM DRAM) 같은 새로운 아키텍처가 업계에 필요하다고 밝혔습니다.