ทันเอไอ

Micron advierte que la crisis del "muro de memoria" de la IA empeora y señala que las HBM no crecen al ritmo de los chips de procesamiento

Micron señala que el cuello de botella de la memoria HBM en los sistemas de IA empeora constantemente, ya que la velocidad de procesamiento supera al ancho de banda en una proporción de 3 a 1.

Durante la conferencia de chips Hot Chips 2026, Raghu Sreeramaneni, Fellow de arquitectura HBM en Micron, reveló un gran desafío en la industria de la inteligencia artificial, afirmando que el problema del "muro de memoria" (Memory Wall) se está intensificando debido al crecimiento desequilibrado del hardware.

Según la presentación, el rendimiento de procesamiento de los aceleradores de IA (Compute TFLOPS) ha aumentado un promedio de 3 veces cada 2 años, mientras que el ancho de banda de las memorias de alta velocidad como HBM (High Bandwidth Memory) ha crecido menos de 2 veces en el mismo periodo. Esta brecha cada vez mayor obliga a los procesadores a esperar la transferencia de datos, convirtiéndose en el principal cuello de botella de los sistemas de IA a gran escala.

Además, Micron citó estadísticas interesantes que muestran que las fallas relacionadas con HBM representaron hasta el 17% de todas las interrupciones durante el entrenamiento del modelo Llama 3 de Meta.

En cuanto a las limitaciones físicas, los módulos de GPU System-in-Package de nueva generación, que apilan hasta 12 capas de HBM, hacen que el área de silicio de la memoria ocupe alrededor del 90% del silicio total, siendo unas 8 veces más grande que el chip de la GPU en sí. Esto afecta directamente al calor y a la resistencia térmica (Thermal Resistance).

Para hacer frente a este problema, Micron indicó que la industria debe depender de innovaciones de empaquetado avanzado como Hybrid Bonding o Fusion Bonding, interfaces Die-to-Die y nuevas arquitecturas como Processing-in-Memory (PIM DRAM) para ayudar a reducir la pérdida de energía y gestionar los problemas térmicos en el futuro.