Samsung acelera la memoria para IA: del HBM4E al salto a 3D verdadero

El cuello de botella de la memoria en IA

Samsung ha presentado su estrategia para superar lo que la compañía llama el "muro digital de memoria" creado por las cargas de trabajo de IA. La hoja de ruta incluye avances tanto en memoria de alto ancho de banda (HBM) como en NAND flash, todos ellos organizados alrededor de arquitecturas 3D y una integración más estrecha con aceleradores.

El punto de partida es contundente: la infraestructura actual de IA ya está tensionada para soportar aproximadamente 100 tokens por segundo por usuario en 2026. Samsung proyecta que para 2030 esa cifra llegará a 1.000 tokens por segundo por usuario. Es un aumento de diez veces en menos de cinco años. Los sistemas de memoria tendrán que cambiar de forma proporcional.

HBM4E y el horizonte inmediato

El HBM4E es el punto de partida de la estrategia de Samsung. Ya está en fase de muestreo con socios clave del ecosistema. Utiliza un dado base de 4 nanómetros, incrementa el número de vías de silicio atravesante (TSVs) en un factor de cuatro, y emplea encapsulado avanzado con más de 300.000 microbumps y separaciones más ajustadas entre conexiones para mejorar la fiabilidad y la gestión térmica.

Samsung estima que el HBM representará más del 50 % de las ventas de DRAM en 2030. El ciclo de desarrollo del HBM se ha acelerado más que el de cualquier otra tecnología de memoria, según Leno Park, vicepresidente de soluciones flash de Samsung Electronics.

El salto a HBM5 y la verdadera arquitectura 3D

El siguiente paso es el HBM5, que utilizará un dado base de 2 nanómetros construido con transistores gate-all-around (GAA) y acortará las distancias del canal del interposer para mejorar la señalización de entrada/salida entre el dado base y el acelerador.

Pero lo más significativo es el concepto que Samsung llama zHBM: una arquitectura que abandona el diseño 2.5D actual de lado a lado para colocar el acelerador de IA directamente sobre el apilamiento de HBM, como una única estructura de dominio 3D verdadero. Al reducir la distancia que deben recorrer los datos entre procesador y memoria, esta arquitectura mejora el ancho de banda y la eficiencia energética mientras reduce las restricciones térmicas.

Samsung afirma que una interfaz de próxima generación que incorpore zHBM podría entregar aproximadamente ocho veces el rendimiento del HBM5, más de diez veces la densidad de memoria, tres veces la eficiencia energética y menos de la mitad de la resistencia térmica. Esos números requieren, sin embargo, codesarrollo cercano con socios de aceleradores.

Más allá del HBM: la estrategia en NAND

Samsung también ha introducido zNAND-O, un concepto de NAND de próxima generación dirigido a IA en el borde y otros entornos con uso intensivo de datos. Construida sobre la tecnología V-NAND de Samsung, la arquitectura busca combinar eficiencia de espacio con rendimiento de entrada/salida mejorado, eficiencia energética y latencia reducida al acortar la distancia que deben recorrer los datos entre procesador y memoria.

La décima generación del V-NAND TLC de Samsung contará con más de 400 capas y una reducción lateral del 11 %, mientras que la densidad de memoria ha aumentado en aproximadamente el 58 %. Según Park, los modelos de IA se hacen cada vez más grandes y la arquitectura de memoria convencional no podrá seguir el ritmo. "Después de 2029, necesitamos alguna tecnología revolucionaria para superar el muro digital de memoria," afirmó.

Dónde converge esto con hardware inteligente

El problema que Samsung describe es real en cualquier escala. No es solo en los centros de datos donde la memoria se convierte en un cuello de botella. Cuando diseñáis hardware que necesita inteligencia conversacional o toma de decisiones rápida en el borde, el equilibrio entre lo que cabe en memoria y lo que tarda en llegar a través de una red sigue siendo fundamental.

Las optimizaciones de arquitectura que Samsung describe—reducir distancias, mejorar la integración, rechazar el diseño 2.5D por arquitectura verdaderamente 3D—son principios que aplican en cualquier nivel de hardware, desde centros de datos hasta microcontroladores. La presión que genera la IA no es solo cuantitativa, es estructural.

En bitbitbla trabajamos con ese mismo desafío en hardware pequeño: cómo orquestar inteligencia agéntica en dispositivos con recursos limitados. Si tenéis espacio para un microcontrolador, podéis tener una voz inteligente. Eso es posible porque las arquitecturas eficientes importan a cualquier escala. Las decisiones que Samsung toma hoy sobre cómo mover datos entre memoria y procesador son el mismo tipo de decisiones que definen el diseño de un producto con capacidades conversacionales en el borde.

Fuente: EE Times.