Micron alerte sur l'aggravation de la « barrière mémoire » de l'IA et souligne que la croissance des HBM est distancée par les puces de traitement
Micron indique que le goulot d'étranglement de la mémoire HBM dans les systèmes d'IA ne cesse de s'aggraver, la vitesse de traitement progressant trois fois plus vite que la bande passante.
Lors de la conférence sur les processeurs Hot Chips 2026, Raghu Sreeramaneni, Fellow en architecture HBM chez Micron, a mis en lumière un défi majeur pour l'industrie de l'intelligence artificielle, déclarant que le « mur de la mémoire » (Memory Wall) s'intensifie continuellement en raison d'une croissance déséquilibrée du matériel.
Selon la présentation, les performances de calcul des accélérateurs d'IA (Compute TFLOPS) ont augmenté en moyenne d'environ 3 fois tous les 2 ans, tandis que la bande passante des mémoires haute performance telles que la HBM (High Bandwidth Memory) a progressé de moins de 2 fois sur la même période. Cet écart grandissant contraint les processeurs à patienter pour le transfert des données, devenant ainsi le principal goulot d'étranglement des grands systèmes d'IA.
En outre, Micron a cité des statistiques notables indiquant que les défaillances liées à la HBM représentent jusqu'à 17 % de l'ensemble des pannes survenues lors de l'entraînement du modèle Llama 3 de Meta.
Sur le plan des contraintes physiques, les modules GPU modernes de type System-in-Package, qui empilent jusqu'12 couches de HBM, font en sorte que la surface de silicium de la mémoire représente environ 90 % du total, soit une taille environ 8 fois supérieure à celle de la puce GPU elle-même. Cela a un impact direct sur la thermique et la résistance thermique.
Pour faire face à ce problème, Micron souligne que l'industrie doit s'appuyer sur des innovations en matière de packaging avancé telles que le Hybrid Bonding ou le Fusion Bonding, des interfaces die-to-die, ainsi que de nouvelles architectures comme le Processing-in-Memory (PIM DRAM) afin de réduire les pertes d'énergie et de gérer les problèmes thermiques à l'avenir.
Ce problème met en évidence une limitation matérielle mondiale qui rend le développement des grands modèles de langage (LLM) plus coûteux et plus long, ce qui finira par impacter la vitesse à laquelle les utilisateurs grand public pourront accéder aux services d'IA.