ทันเอไอ

Micron 揭示 AI“内存墙”危机恶化，指出 HBM 增速跟不上处理器

Micron 指出，由于处理速度的飙升速度比带宽快 3 倍，AI 系统中的 HBM 内存瓶颈正变得日益严重。

在 Hot Chips 2026 芯片学术会议上，Micron 的 HBM 架构 Fellow Raghu Sreeramaneni 披露了人工智能行业面临的一大严峻挑战，指出由于硬件增长不均衡，“内存墙”（Memory Wall）问题正在持续加剧。

演讲指出，AI Accelerator 的处理性能（Compute TFLOPS）每 2 年平均增长约 3 倍，而 HBM（High Bandwidth Memory）等高速内存的带宽在同期增长却不到 2 倍。这种不断扩大的差距导致处理器不得不浪费时间等待数据的收发，成为了大型 AI 系统的主要瓶颈。

此外，Micron 还引用了一组有趣的数据：在 Meta 训练 Llama 3 模型期间，与 HBM 相关的故障占了所有停机问题的 17%。

在物理限制方面，堆叠了 12 层 HBM 的新一代 System-in-Package GPU 模块，其内存硅片面积占了总硅片面积的 90% 左右，比 GPU 芯片本身大约大 8 倍，这直接对热量和散热（Thermal Resistance）造成了影响。

为了应对这一问题，Micron 表示行业必须依靠 Hybrid Bonding 或 Fusion Bonding 等先进封装创新、Die-to-Die 接口，以及 Processing-in-Memory (PIM DRAM) 等新架构，以帮助减少未来的能耗并解决散热问题。