Samsung accelera la memoria per l'IA: dall'HBM4E al salto al 3D vero

Il collo di bottiglia della memoria nell'IA

Samsung ha presentato la sua strategia per superare quello che l'azienda chiama il "muro digitale della memoria" creato dai carichi di lavoro di IA. La roadmap include progressi sia nella memoria ad alta larghezza di banda (HBM) sia nella NAND flash, tutti organizzati intorno ad architetture 3D e a un'integrazione più stretta con gli acceleratori.

Il punto di partenza è netto: l'infrastruttura IA attuale è già sotto pressione per supportare circa 100 token al secondo per utente nel 2026. Samsung proietta che entro il 2030 quella cifra raggiungerà 1.000 token al secondo per utente. È un aumento di dieci volte in meno di cinque anni. I sistemi di memoria dovranno cambiare in proporzione.

HBM4E e l'orizzonte immediato

L'HBM4E è il punto di partenza della strategia di Samsung. È già in fase di sampling con partner chiave dell'ecosistema. Utilizza un die di base a 4 nanometri, moltiplica per quattro il numero di through-silicon vias (TSV) e impiega packaging avanzato con oltre 300.000 microbump e spaziatura più stretta tra le connessioni per migliorare affidabilità e gestione termica.

Samsung stima che l'HBM rappresenterà più del 50 % delle vendite di DRAM nel 2030. Il ciclo di sviluppo dell'HBM si è accelerato più di quello di qualsiasi altra tecnologia di memoria, secondo Leno Park, vicepresidente delle soluzioni flash di Samsung Electronics.

Il salto a HBM5 e la vera architettura 3D

Il passo successivo è l'HBM5, che utilizzerà un die di base a 2 nanometri costruito con transistor gate-all-around (GAA) e accorcerà le distanze del canale dell'interposer per migliorare la segnalazione I/O tra die di base e acceleratore.

Ma il più significativo è il concetto che Samsung chiama zHBM: un'architettura che abbandona il design 2.5D attuale side-by-side per posizionare l'acceleratore di IA direttamente sull'stack HBM, come un'unica struttura di dominio 3D vero. Riducendo la distanza che i dati devono percorrere tra processore e memoria, questa architettura migliora larghezza di banda ed efficienza energetica riducendo al contempo i vincoli termici.

Samsung afferma che un'interfaccia di nuova generazione che incorpori zHBM potrebbe offrire circa otto volte le prestazioni dell'HBM5, più di dieci volte la densità di memoria, tre volte l'efficienza energetica e meno della metà della resistenza termica. Quei numeri richiedono, tuttavia, un co-sviluppo stretto con i partner degli acceleratori.

Oltre l'HBM: la strategia NAND

Samsung ha anche introdotto zNAND-O, un concetto di NAND di nuova generazione rivolto all'IA edge e ad altri ambienti ad alto uso di dati. Costruita sulla tecnologia V-NAND di Samsung, l'architettura cerca di combinare efficienza di spazio con prestazioni I/O migliorate, efficienza energetica e latenza ridotta accorciando la distanza che i dati devono percorrere tra processore e memoria.

La decima generazione del V-NAND TLC di Samsung avrà più di 400 layer e una riduzione laterale dell'11 %, mentre la densità di memoria è aumentata di circa il 58 %. Secondo Park, i modelli di IA diventano sempre più grandi e l'architettura di memoria convenzionale non riuscirà a tenere il passo. "Dopo il 2029, abbiamo bisogno di qualche tecnologia rivoluzionaria per superare il muro digitale della memoria," ha affermato.

Dove questo converge con l'hardware intelligente

Il problema che Samsung descrive è reale a ogni scala. Non è solo nei data center che la memoria diventa un collo di bottiglia. Quando progettate hardware che ha bisogno di intelligenza conversazionale o decisioni rapide all'edge, l'equilibrio tra ciò che entra in memoria e ciò che impiega tempo ad arrivare attraverso una rete resta fondamentale.

Le ottimizzazioni di architettura che Samsung descrive — ridurre le distanze, migliorare l'integrazione, rifiutare il design 2.5D per un'architettura davvero 3D — sono principi che si applicano a ogni livello di hardware, dai data center ai microcontrollori. La pressione generata dall'IA non è solo quantitativa, è strutturale.

In bitbitbla lavoriamo con la stessa sfida su hardware piccolo: come orchestrare intelligenza agentica su dispositivi con risorse limitate. Se avete spazio per un microcontrollore, potete avere una voce intelligente. È possibile perché le architetture efficienti contano a ogni scala. Le decisioni che Samsung prende oggi su come muovere i dati tra memoria e processore sono lo stesso tipo di decisioni che definiscono il design di un prodotto con capacità conversazionali all'edge.

Fonte: EE Times.