Samsung accelera la memòria per a IA: del HBM4E al salt al 3D verdader

El coll d'ampolla de la memòria en IA

Samsung ha presentat la seva estratègia per superar el que l'empresa anomena el "mur digital de memòria" creat per les càrregues de treball d'IA. La fulla de ruta inclou avenços tant en memòria d'alt ample de banda (HBM) com en NAND flash, tots organitzats al voltant d'arquitectures 3D i una integració més estreta amb acceleradors.

El punt de partida és contundent: la infraestructura actual d'IA ja està tensionada per soportar aproximadament 100 tokens per segon per usuari el 2026. Samsung projecta que el 2030 aquesta xifra arribarà a 1.000 tokens per segon per usuari. És un augment de deu vegades en menys de cinc anys. Els sistemes de memòria hauran de canviar de forma proporcional.

HBM4E i l'horitzó immediat

L'HBM4E és el punt de partida de l'estratègia de Samsung. Ja està en fase de mostreig amb socis clau de l'ecosistema. Utilitza un die base de 4 nanòmetres, incrementa el nombre de vies de silici travessant (TSVs) en un factor de quatre, i empra encapsulat avançat amb més de 300.000 microbumps i separacions més ajustades entre connexions per millorar la fiabilitat i la gestió tèrmica.

Samsung estima que l'HBM representarà més del 50 % de les vendes de DRAM el 2030. El cicle de desenvolupament de l'HBM s'ha accelerat més que el de qualsevol altra tecnologia de memòria, segons Leno Park, vicepresident de solucions flash de Samsung Electronics.

El salt a HBM5 i la veritable arquitectura 3D

El següent pas és l'HBM5, que utilitzarà un die base de 2 nanòmetres construït amb transistors gate-all-around (GAA) i escurçarà les distàncies del canal de l'interposer per millorar la senyalització d'entrada/sortida entre el die base i l'accelerador.

Però el més significatiu és el concepte que Samsung anomena zHBM: una arquitectura que abandona el disseny 2.5D actual de costat a costat per col·locar l'accelerador d'IA directament sobre l'apilament d'HBM, com una única estructura de domini 3D verdader. En reduir la distància que han de recórrer les dades entre processador i memòria, aquesta arquitectura millora l'ample de banda i l'eficiència energètica mentre redueix les restriccions tèrmiques.

Samsung afirma que una interfície de propera generació que incorpori zHBM podria lliurar aproximadament vuit vegades el rendiment de l'HBM5, més de deu vegades la densitat de memòria, tres vegades l'eficiència energètica i menys de la meitat de la resistència tèrmica. Aquests números requereixen, però, codesenvolupament proper amb socis d'acceleradors.

Més enllà de l'HBM: l'estratègia en NAND

Samsung també ha introduït zNAND-O, un concepte de NAND de propera generació dirigit a IA a la vora i altres entorns amb ús intensiu de dades. Construïda sobre la tecnologia V-NAND de Samsung, l'arquitectura busca combinar eficiència d'espai amb rendiment d'entrada/sortida millorat, eficiència energètica i latència reduïda en escurçar la distància que han de recórrer les dades entre processador i memòria.

La desena generació del V-NAND TLC de Samsung comptarà amb més de 400 capes i una reducció lateral de l'11 %, mentre que la densitat de memòria ha augmentat aproximadament un 58 %. Segons Park, els models d'IA es fan cada vegada més grans i l'arquitectura de memòria convencional no podrà seguir el ritme. "Després del 2029, necessitem alguna tecnologia revolucionària per superar el mur digital de memòria," va afirmar.

On convergeix això amb hardware intel·ligent

El problema que Samsung descriu és real a qualsevol escala. No és només als centres de dades on la memòria es converteix en un coll d'ampolla. Quan dissenyeu hardware que necessita intel·ligència conversacional o presa de decisions ràpida a la vora, l'equilibri entre el que cap a memòria i el que triga a arribar a través d'una xarxa segueix sent fonamental.

Les optimitzacions d'arquitectura que Samsung descriu—reduir distàncies, millorar la integració, rebutjar el disseny 2.5D per arquitectura veritablement 3D—són principis que apliquen a qualsevol nivell de hardware, des de centres de dades fins a microcontroladors. La pressió que genera la IA no és només quantitativa, és estructural.

A bitbitbla treballem amb aquest mateix desafiament en hardware petit: com orquestrar intel·ligència agèntica en dispositius amb recursos limitats. Si teniu espai per a un microcontrolador, podeu tenir una veu intel·ligent. Això és possible perquè les arquitectures eficients importen a qualsevol escala. Les decisions que Samsung pren avui sobre com moure dades entre memòria i processador són el mateix tipus de decisions que defineixen el disseny d'un producte amb capacitats conversacionals a la vora.

Font: EE Times.