- Cerebras Systems onthult de Wafer Scale Engine 3 (WSE-3), aangeprezen als ’s werelds meest geavanceerde AI-chip, die de CS-3 AI-supercomputer aandrijft met topprestaties van 125 petaFLOPS.
- De WSE-3-chip belooft een revolutie teweeg te brengen in de AI-training, waardoor de efficiëntie aanzienlijk wordt verbeterd met behoud van de kosten- en energie-efficiëntie, met vier biljoen transistors en een verdubbeling van de prestaties van zijn voorganger.
- Het CS-3-systeem, met 900.000 AI-kernen en maximaal 1,2 petabytes aan extern geheugen, positioneert zichzelf theoretisch in de top 10 van supercomputers wereldwijd, en toont een ongekend potentieel voor AI-modeltraining en schaalbaarheid.
AI-technologie, door sommigen aangekondigd als een baanbrekende innovatie en door anderen bekritiseerd als een zegen voor de elite, heeft nu een baanbrekende troef in haar arsenaal. Cerebras Systems heeft de sluier opgelicht wat naar verluidt de meest geavanceerde AI-chip ter wereld is, de Wafer Scale Engine 3 (WSE-3). Deze krachtpatser drijft de Cerebras CS-3 AI-supercomputer aan, met ongeëvenaarde topprestaties van 125 petaFLOPS, met schaalbaarheid die de grenzen verlegt van wat mogelijk is.
Wat heeft de WSE-3 van Cerebras te bieden?
Belangrijkste specificaties gedetailleerd in de persbericht:
- 4 biljoen transistoren
- 900.000 AI-kernen
- 125 petaflops aan topprestaties op het gebied van AI
- 44 GB op chip SRAM
- 5nm TSMC-proces
- Extern geheugen: 1,5 TB, 12 TB, of 1,2 PB
- Traint AI-modellen tot 24 biljoen parameters
- Clustergrootte van maximaal 2048 CS-3-systemen
Voordat een AI die boeiende video’s en afbeeldingen kan genereren, ondergaat hij training op een enorme hoeveelheid gegevenswaarbij het energie-equivalent van meer dan wordt opgeslokt 100 huishoudens in het proces. Deze geavanceerde chip, samen met de computersystemen die er gebruik van maken, belooft echter de efficiëntie van deze trainingsfase aanzienlijk te versnellen en te verbeteren.
De WSE-3-chip, qua formaat vergelijkbaar met een standaard bordspel, is opmerkelijk uitgerust met vier biljoen transistors, die het dubbele presteren van de eerdere iteratie van Cerebras Systems – de voormalige kampioen op het gebied van snelheid – en dat allemaal met behoud van dezelfde kosten en energie-efficiëntie. Geïntegreerd in het CS-3-systeem beloven deze chips de rekenkracht te leveren die gelijkwaardig is aan die van een hele serverruimte, allemaal samengeperst tot een eenheid die slechts zo groot is als een minikoelkast.
De VS onderhandelt over de verkoop van AI-chips met Nvidia te midden van de spanningen in China
Cerebras benadrukt dat de CS-3 beschikt over 900.000 AI-kernen en 44 GB on-chip SRAMgeschikt voor een AI-piekprestatie van 125 petaFLOPS. Deze indrukwekkende specificatie theoretisch positioneert de CS-3 in de top 10 van supercomputers wereldwijd. Zonder benchmarktests blijven de werkelijke prestaties in toepassingen in de echte wereld echter speculatief.
Om tegemoet te komen aan de onverzadigbare databehoeften van AI, biedt de CS-3 externe geheugenconfiguraties variërend van 1,5 TB tot maar liefst 1,2 Petabytes (PB), wat overeenkomt met 1.200 TB. Deze capaciteit maakt de training van AI-modellen met maximaal 24 biljoen parameters, waardoor de omvang van de meeste huidige AI-modellen, die hun parameters in de miljarden tellen, in het niet valt, waarbij de GPT-4 wordt geschat op ongeveer 1,8 biljoen. Cerebras suggereert de CS-3 zou modellen met één biljoen parameters net zo moeiteloos kunnen trainen als hedendaagse GPU-gebaseerde systemen modellen met één miljard parameters kunnen verwerken.
Het innovatieve waferproductieproces achter de WSE-3-chips maakt het schaalbare ontwerp van de CS-3 mogelijk. Het ondersteunt de clustering van maximaal 2.048 eenheden, culminerend in een supercomputergigant die 256 exaFLOPS kan bereiken. Dit zou de prestaties van ’s werelds toonaangevende supercomputers, die momenteel net boven één exaFLOP werken, doen vervagen. Cerebras beweert dat deze ongeëvenaarde capaciteit de training van een Llama 70B-model in slechts een dag vanaf nul zou kunnen vergemakkelijken.
Uitgelichte afbeeldingscredits: Kerem Gülen/Midjourney
