Micron-technologie aangekondigd het verzendt klantmonsters van zijn 192 GB SOCAMM2-geheugenmodule. Het nieuwe product, ontwikkeld voor AI-datacenters, maakt gebruik van LPDDR5X-technologie om de capaciteit en prestaties te vergroten en tegelijkertijd het energieverbruik te verminderen. De module, een Small Outline Compression Attached Memory Module (SOCAMM2), biedt 192 gigabyte aan capaciteit, de hoogst beschikbare capaciteit voor deze vormfactor in datacenters. Dit is een capaciteitstoename van 50 procent ten opzichte van de vorige generatie binnen een identieke fysieke voetafdruk. Het ontwerp met hoge dichtheid is van cruciaal belang voor AI-servers met beperkte ruimte, waardoor meer geheugen per systeem mogelijk is om grote AI-modellen te ondersteunen. Door de capaciteit te concentreren, komt de module direct tegemoet aan de escalerende geheugenvereisten van moderne kunstmatige intelligentie-workloads, die afhankelijk zijn van enorme datasets en uitgebreide parametertellingen om effectief te kunnen functioneren. In de kern maakt de SOCAMM2 gebruik van LPDDR5X DRAM, een technologie die oorspronkelijk uit de mobiele sector komt en nu is aangepast voor zakelijk gebruik. Het geheugen wordt geproduceerd met het 1-gamma DRAM-proces van Micron, het meest geavanceerde productieknooppunt. Dit proces levert een verbetering van de energie-efficiëntie op van ruim 20 procent vergeleken met eerdere generaties. De combinatie van de energiezuinige architectuur van de LPDDR5X met het geavanceerde fabricageproces creëert een geheugenoplossing die speciaal is ontworpen om de aanzienlijke energiebehoefte van AI-berekeningen te verminderen, waardoor energiezuinige DRAM wordt getransformeerd in een component van datacenterklasse met verbeterde robuustheid en schaalbaarheid. Prestatiegegevens omvatten gegevensoverdrachtsnelheden tot 9,6 gigabits per seconde (Gbps), waardoor de doorvoer wordt geboden die nodig is om gegevensknelpunten in AI-systemen te voorkomen. Een belangrijk kenmerk is de energiebesparing, waarbij de module het energieverbruik met meer dan tweederde vermindert in vergelijking met gelijkwaardige RDIMM-implementaties (Registered Dual In-line Memory Module). Omdat RDIMM’s de serverstandaard zijn, biedt deze reductie aanzienlijke operationele besparingen. Een lager stroomverbruik verlaagt de elektriciteitskosten en vermindert de druk op de koelsystemen van datacenters, een belangrijke factor in de totale eigendomskosten en de duurzaamheid van de infrastructuur. De grotere geheugencapaciteit verbetert direct de prestaties van AI-applicaties, vooral voor realtime inferentietaken. De beschikbaarheid van 192GB op één module kan de ‘time to first token’ (TTFT) met ruim 80 procent reduceren. TTFT is een belangrijke latentiemetriek in generatieve AI, waarbij de vertraging wordt gemeten voordat een model een reactie begint te genereren. Voor interactieve diensten zoals AI-assistenten is deze verkorte vertraging van cruciaal belang. Door de aanzienlijke vermindering van de initiële latentie kunnen AI-modellen veel sneller output leveren, wat de responsiviteit en gebruikerservaring van deze latentiegevoelige applicaties verbetert. De SOCAMM2-standaard is inherent modulair, een ontwerp dat praktische voordelen biedt voor het beheer van grote computeromgevingen. Deze modulariteit verbetert het onderhoud van de server, waardoor het eenvoudiger en sneller vervangen of upgraden van individuele geheugenmodules mogelijk is met minimale systeemuitval. In grote datacenterclusters is dergelijk gestroomlijnd onderhoud essentieel voor het behoud van een hoge beschikbaarheid. Het ontwerp creëert ook een duidelijk pad voor toekomstige capaciteitsuitbreiding, waardoor operators hun geheugenbronnen kunnen schalen in overeenstemming met de groeiende eisen van de volgende generatie AI-modellen, waardoor hardware-investeringen in de loop van de tijd worden beschermd. De ontwikkeling van het energiezuinige servergeheugen was een gezamenlijke inspanning Nvidiauitgevoerd over een periode van vijf jaar. Dit strategische partnerschap positioneert de SOCAMM2 als een sleuteloplossing voor de volgende generatie AI-platforms, en de samenwerking suggereert een ontwerp dat is geoptimaliseerd voor integratie binnen het Nvidia-ecosysteem. Het product is specifiek gericht op de AI-datacentermarkt, waar de vraag naar geheugen toeneemt als gevolg van de opkomst van generatieve AI en modellen met enorme context. Deze geavanceerde AI-systemen hebben een enorm, snel en zeer efficiënt geheugen nodig om effectief te kunnen werken, een behoefte waarvoor de module is ontworpen. Micron is begonnen met klantbemonstering van de 192GB-module, waardoor partners de technologie in hun eigen systemen kunnen testen en valideren. De productie van grote volumes zal worden afgestemd op de lanceringstijdlijnen van klanten om de marktbeschikbaarheid voor nieuwe serverimplementaties te garanderen. De aanzienlijke energie-efficiëntie van de module ondersteunt de verschuiving van de bredere datacenterindustrie naar een duurzamere, energie-geoptimaliseerde infrastructuur. Deze focus helpt operators bij het beheren van zowel de financiële als de milieukosten die gepaard gaan met de snelle wereldwijde uitbreiding van kunstmatige intelligentie-workloads en de bijbehorende hardware-voetafdruk.
