Samsung accelerează memoria pentru IA: de la HBM4E la saltul spre 3D adevărat

Gâtul de sticlă al memoriei în IA

Samsung a prezentat strategia sa pentru a depăși ceea ce compania numește „zidul digital al memoriei” creat de sarcinile de lucru de IA. Foaia de parcurs include progrese atât în memoria cu lățime de bandă mare (HBM), cât și în NAND flash, toate organizate în jurul arhitecturilor 3D și al unei integrări mai strânse cu acceleratoarele.

Punctul de plecare este clar: infrastructura actuală de IA este deja tensionată pentru a susține aproximativ 100 de tokeni pe secundă per utilizator în 2026. Samsung proiectează că până în 2030 această cifră va ajunge la 1.000 de tokeni pe secundă per utilizator. Este o creștere de zece ori în mai puțin de cinci ani. Sistemele de memorie vor trebui să se schimbe proporțional.

HBM4E și orizontul imediat

HBM4E este punctul de plecare al strategiei Samsung. Este deja în faza de sampling cu parteneri cheie din ecosistem. Folosește un die de bază de 4 nanometri, mărește de patru ori numărul de through-silicon vias (TSV) și folosește packaging avansat cu peste 300.000 de microbumps și spațieri mai strânse între conexiuni pentru a îmbunătăți fiabilitatea și managementul termic.

Samsung estimează că HBM va reprezenta peste 50 % din vânzările de DRAM în 2030. Ciclul de dezvoltare al HBM s-a accelerat mai mult decât al oricărei alte tehnologii de memorie, potrivit lui Leno Park, vicepreședinte al soluțiilor flash la Samsung Electronics.

Saltul la HBM5 și adevărata arhitectură 3D

Următorul pas este HBM5, care va folosi un die de bază de 2 nanometri construit cu tranzistoare gate-all-around (GAA) și va scurta distanțele canalului interposerului pentru a îmbunătăți semnalizarea I/O între die-ul de bază și accelerator.

Dar cel mai semnificativ este conceptul pe care Samsung îl numește zHBM: o arhitectură care abandonează designul 2.5D actual side-by-side pentru a plasa acceleratorul de IA direct pe stiva HBM, ca o singură structură de domeniu 3D adevărat. Prin reducerea distanței pe care trebuie să o parcurgă datele între procesor și memorie, această arhitectură îmbunătățește lățimea de bandă și eficiența energetică, reducând în același timp constrângerile termice.

Samsung afirmă că o interfață de generație următoare care încorporează zHBM ar putea livra aproximativ de opt ori performanța HBM5, de peste zece ori densitatea de memorie, de trei ori eficiența energetică și mai puțin de jumătate din rezistența termică. Aceste cifre necesită însă co-dezvoltare strânsă cu partenerii de acceleratoare.

Dincolo de HBM: strategia NAND

Samsung a introdus și zNAND-O, un concept de NAND de generație următoare destinat IA pe edge și altor medii intensive în date. Construită pe tehnologia V-NAND a Samsung, arhitectura urmărește să combine eficiența spațiului cu performanță I/O îmbunătățită, eficiență energetică și latență redusă prin scurtarea distanței pe care trebuie să o parcurgă datele între procesor și memorie.

A zecea generație de V-NAND TLC Samsung va avea peste 400 de straturi și o reducere laterală de 11 %, în timp ce densitatea memoriei a crescut cu aproximativ 58 %. Potrivit lui Park, modelele de IA devin din ce în ce mai mari, iar arhitectura convențională de memorie nu va putea ține pasul. „După 2029, avem nevoie de o tehnologie revoluționară pentru a depăși zidul digital al memoriei,” a afirmat.

Unde converge asta cu hardware-ul inteligent

Problema pe care o descrie Samsung este reală la orice scară. Nu doar în centrele de date memoria devine un gât de sticlă. Când proiectați hardware care are nevoie de inteligență conversațională sau decizii rapide pe edge, echilibrul între ce încape în memorie și ce durează să ajungă printr-o rețea rămâne fundamental.

Optimizările de arhitectură pe care le descrie Samsung — reducerea distanțelor, îmbunătățirea integrării, respingerea designului 2.5D pentru arhitectură cu adevărat 3D — sunt principii care se aplică la orice nivel de hardware, de la centre de date la microcontrolere. Presiunea generată de IA nu este doar cantitativă, este structurală.

La bitbitbla lucrăm cu aceeași provocare pe hardware mic: cum să orchestrăm inteligență agentică pe dispozitive cu resurse limitate. Dacă aveți spațiu pentru un microcontroler, puteți avea o voce inteligentă. Este posibil pentru că arhitecturile eficiente contează la orice scară. Deciziile pe care Samsung le ia azi despre cum să mute datele între memorie și procesor sunt același tip de decizii care definesc designul unui produs cu capacități conversaționale pe edge.

Sursă: EE Times.