ทันเอไอ

Micron Ungkap Krisis "Memory Wall" AI Memburuk, Sebut HBM Tumbuh Lebih Lambat dari Chip Prosesor

Micron sebut masalah bottleneck memori HBM pada sistem AI semakin memburuk setelah kecepatan pemrosesan melonjak 3 kali lipat lebih cepat daripada bandwidth

Dalam konferensi chip Hot Chips 2026, Micron melalui Raghu Sreeramaneni, Fellow Arsitektur HBM, mengungkapkan tantangan besar di industri kecerdasan buatan, dengan menyatakan bahwa masalah "Memory Wall" terus memburuk seiring dengan pertumbuhan perangkat keras yang tidak seimbang.

Berdasarkan pemaparan tersebut, performa pemrosesan AI Accelerator (Compute TFLOPS) meningkat rata-rata sekitar 3 kali lipat setiap 2 tahun, sementara bandwidth memori kecepatan tinggi seperti HBM (High Bandwidth Memory) hanya meningkat kurang dari 2 kali lipat dalam periode waktu yang sama. Kesenjangan yang semakin lebar ini membuat unit pemrosesan harus membuang waktu menunggu transfer data, yang menjadi bottleneck utama dalam sistem AI berskala besar.

Selain itu, Micron juga mengutip statistik menarik bahwa kegagalan yang terkait dengan HBM menyumbang hingga 17% dari seluruh masalah penghentian (downtime) selama pelatihan model Llama 3 milik Meta.

Dari segi batasan fisik, modul GPU System-in-Package generasi baru dengan 12 lapis HBM yang ditumpuk membuat area silikon memori menyumbang sekitar 90% dari total silikon, atau sekitar 8 kali lebih besar daripada chip GPU itu sendiri. Hal ini berdampak langsung pada panas dan resistensi termal (Thermal Resistance).

Untuk mengatasi masalah ini, Micron menyatakan bahwa industri perlu mengandalkan inovasi Advanced Packaging tingkat lanjut seperti Hybrid Bonding atau Fusion Bonding, antarmuka Die-to-Die, serta arsitektur baru seperti Processing-in-Memory (PIM DRAM) untuk membantu mengurangi kehilangan daya dan mengatasi masalah panas di masa depan.