Samsung przyspiesza pamięć dla AI: od HBM4E do skoku w prawdziwe 3D

Wąskie gardło pamięci w AI

Samsung przedstawił strategię przezwyciężenia tego, co firma nazywa „cyfrową ścianą pamięci” tworzoną przez obciążenia AI. Mapa drogowa obejmuje postępy zarówno w pamięci o wysokiej przepustowości (HBM), jak i w NAND flash — zorganizowane wokół architektur 3D i ściślejszej integracji z akceleratorami.

Punkt wyjścia jest wyraźny: obecna infrastruktura AI jest już napięta, by obsługiwać około 100 tokenów na sekundę na użytkownika w 2026. Samsung przewiduje, że do 2030 ta liczba osiągnie 1000 tokenów na sekundę na użytkownika. To dziesięciokrotny wzrost w mniej niż pięć lat. Systemy pamięci będą musiały zmienić się proporcjonalnie.

HBM4E i bliski horyzont

HBM4E to punkt wyjścia strategii Samsunga. Jest już w fazie samplingu z kluczowymi partnerami ekosystemu. Wykorzystuje bazowy die w 4 nanometrach, zwiększa liczbę through-silicon vias (TSV) czterokrotnie i stosuje zaawansowany packaging z ponad 300 000 microbumpów oraz ciaśniejszymi odstępami między połączeniami, by poprawić niezawodność i zarządzanie termiczne.

Samsung szacuje, że HBM będzie stanowić ponad 50 % sprzedaży DRAM w 2030. Cykl rozwoju HBM przyspieszył bardziej niż jakiejkolwiek innej technologii pamięci — według Leno Parka, wiceprezesa rozwiązań flash w Samsung Electronics.

Skok do HBM5 i prawdziwej architektury 3D

Następnym krokiem jest HBM5, które użyje bazowego die w 2 nanometrach zbudowanego z tranzystorów gate-all-around (GAA) i skróci odległości kanału interposera, by poprawić sygnalizację I/O między bazowym die a akceleratorem.

Najważniejszy jest jednak koncept, który Samsung nazywa zHBM: architektura, która odchodzi od dzisiejszego projektu 2.5D side-by-side, by umieścić akcelerator AI bezpośrednio na stosie HBM — jako jedną prawdziwą strukturę domeny 3D. Skracając dystans, jaki dane muszą przebyć między procesorem a pamięcią, architektura ta poprawia przepustowość i efektywność energetyczną, jednocześnie zmniejszając ograniczenia termiczne.

Samsung twierdzi, że interfejs nowej generacji z zHBM mógłby dostarczyć około ośmiokrotną wydajność HBM5, ponad dziesięciokrotną gęstość pamięci, trzykrotną efektywność energetyczną i mniej niż połowę oporu termicznego. Te liczby wymagają jednak bliskiego współrozwoju z partnerami akceleratorów.

Poza HBM: strategia NAND

Samsung wprowadził także zNAND-O — koncept NAND nowej generacji skierowany na edge AI i inne środowiska intensywnie wykorzystujące dane. Zbudowana na technologii V-NAND Samsunga, architektura łączy efektywność przestrzeni z lepszą wydajnością I/O, efektywnością energetyczną i niższą latencją dzięki skróceniu dystansu, jaki dane muszą przebyć między procesorem a pamięcią.

Dziesiąta generacja TLC V-NAND Samsunga będzie mieć ponad 400 warstw i lateralną redukcję o 11 %, podczas gdy gęstość pamięci wzrosła o około 58 %. Według Parka modele AI stają się coraz większe, a konwencjonalna architektura pamięci nie nadąży. „Po 2029 potrzebujemy jakiejś rewolucyjnej technologii, by przezwyciężyć cyfrową ścianę pamięci” — stwierdził.

Gdzie to zbiega się z inteligentnym hardware’em

Problem, który opisuje Samsung, jest realny w każdej skali. To nie tylko w centrach danych pamięć staje się wąskim gardłem. Gdy projektujecie hardware potrzebujący inteligencji konwersacyjnej lub szybkich decyzji na edge, równowaga między tym, co mieści się w pamięci, a tym, co długo dociera przez sieć, pozostaje fundamentalna.

Optymalizacje architektury, które opisuje Samsung — skracanie dystansów, lepsza integracja, odrzucenie projektu 2.5D na rzecz prawdziwie 3D — to zasady obowiązujące na każdym poziomie hardware’u, od centrów danych po mikrokontrolery. Presja generowana przez AI nie jest tylko ilościowa — jest strukturalna.

W bitbitbla pracujemy z tym samym wyzwaniem na małym hardware: jak orkiestrować inteligencję agentyczną na urządzeniach z ograniczonymi zasobami. Jeśli macie miejsce na mikrokontroler, możecie mieć inteligentny głos. To możliwe, bo efektywne architektury mają znaczenie w każdej skali. Decyzje, które Samsung podejmuje dziś o tym, jak przenosić dane między pamięcią a procesorem, to ten sam rodzaj decyzji, które definiują projekt produktu z możliwościami konwersacyjnymi na edge.

Źródło: EE Times.