Nvidia is planning Om op licht gebaseerde communicatie tussen haar kunstmatige intelligentie-GPU’s tegen 2026 te implementeren, met behulp van siliciumfotonica-interconnects met co-packed Optics (CPO) in de AI-platforms op de volgende generatie rackschaal om hogere overdrachtssnelheden te bereiken bij verminderd stroomverbruik.
Tijdens de Hot Chips Conference gaf Nvidia verdere details over de aankomende Quantum-X en Spectrum-X fotonica-interconnectie-oplossingen, met hun verwachte aankomst in 2026. Deze oplossingen vormen een belangrijke stap naar optische onderlinge verbindingen om de toenemende eisen van gegevensoverdracht binnen grote AI GPU-clusters te beheren.
De ontwikkelingstijdlijn van NVIDIA zal naar verwachting de routekaart van TSMC (Compact Universal Photonic Engine) nauw weerspiegelen, die is gestructureerd in drie verschillende fasen. De beginfase omvat een optische motor die is ontworpen voor OSFP -connectoren, waardoor gegevensoverdracht van 1,6 TB/s wordt vergemakkelijkt en tegelijkertijd het stroomverbruik verlaagt. De tweede fase-overgangen naar Cowos-verpakkingen met co-packed optica, waardoor 6,4 TB/S-gegevensoverdrachtssnelheden op het niveau van het moederbord worden bereikt. De derde fase richt zich op het bereiken van 12,8 tbc/s in processorpakketten, met als doel zowel het stroomverbruik als de latentie verder te verminderen.
De noodzaak voor CPO komt voort uit de uitdagingen die verband houden met het onderling van duizenden GPU’s in grootschalige AI-clusters, waardoor ze als een verenigd systeem moeten werken. Deze architectuur vereist wijzigingen in traditionele netwerkconfiguraties. Specifiek, in plaats van dat elk rek zijn eigen tier-1 (top-of-rack) schakelaar heeft aangesloten door korte koperen kabels, worden de schakelaars verplaatst naar het einde van de rij. Deze configuratie vormt een consistente stof met lage latentie die meerdere rekken overspant. Deze verhuizing verhoogt de afstand tussen servers en hun primaire schakelaar, waardoor koperen kabels onpraktisch worden gemaakt voor hoge snelheden zoals 800 GB/s. Bijgevolg worden optische verbindingen essentieel voor bijna alle server-naar-switch- en schakel-naar-schakellinks.
NVIDIA ontwerpt langzamere B30A -chip om ons te voldoen aan ons beperkingen
Het gebruik van pluggable optische modules in dergelijke omgevingen biedt inherente beperkingen. In deze ontwerpen verlaten gegevenssignalen het applicatiespecifieke geïntegreerde circuit (ASIC), doorkruisen het bord en de connectoren en worden vervolgens omgezet in licht. Dit proces introduceert aanzienlijk elektrisch verlies en bereikt ongeveer 22 decibel op 200 GB/s kanalen. Compensatie voor dit verlies vereist complexe verwerking, wat het stroomverbruik per poort verhoogt tot 30W. Dit vereist op zijn beurt extra koeling en introduceert potentiële faalpunten. Nvidia beweert dat deze problemen steeds problematischer worden naarmate de schaal van AI -implementaties uitbreidt.
CPO vermindert de nadelen die zijn geassocieerd met traditionele pluggable optische modules door de optische conversiemotor direct naast de Switch ASIC te integreren. Met deze nabijheid kan het signaal vrijwel onmiddellijk worden gekoppeld aan vezels, waardoor de noodzaak om over uitgebreide elektrische sporen te reizen omzeilen. Als gevolg hiervan wordt het elektrische verlies verlaagd tot 4 decibel en neemt het stroomverbruik per poort af tot 9W. Deze opstelling elimineert ook tal van componenten die mogelijk kunnen falen, waardoor de implementatie van optische interconnects wordt vereenvoudigd.
NVIDIA beweert dat overgang van conventionele pluggable transceivers en integratie van optische motoren rechtstreeks in Switch Silicon, gefaciliteerd door TSMC’s Coupe Platform, aanzienlijke verbeteringen in efficiëntie, betrouwbaarheid en schaalbaarheid oplevert. NVIDIA meldt dat CPO aanzienlijke voordelen biedt ten opzichte van pluggable modules, waaronder een 3,5-maal toename van de vermogensefficiëntie, een 64 keer verbetering van de signaalintegriteit, een 10 keer toename van de veerkracht als gevolg van de vermindering van actieve apparaten en ongeveer 30% snellere implementatietijden vanwege eenvoudigere service- en assemblageprocedures.
NVIDIA is van plan om op CPO gebaseerde optische interconnectieplatforms te introduceren voor zowel Ethernet als Infiniband Technologies. Het bedrijf verwacht begin 2026 te lanceren van Quantum-X Infiniband-schakelaars. Elke schakelaar is ontworpen om 115 TB/s doorvoer te bieden, met 144 poorten die elk met 800 GB/s werken. Het systeem bevat ook een ASIC met 14,4 tflops van in-netwerkverwerking en ondersteunt NVIDIA’s 4e generatie schaalbare hiërarchische aggregatiereductieprotocol (Sharp), gericht op het verminderen van latentie voor collectieve operaties. Deze schakelaars zullen gebruik maken van vloeistofkoeling.
Tegelijkertijd bereidt NVIDIA zich voor om CPO in Ethernet te integreren via zijn Spectrum-X Photonics-platform, gepland voor release in de tweede helft van 2026. Dit platform zal gebaseerd zijn op de Spectrum-6 ASIC, die twee verschillende apparaten van stroom zal voorzien: de SN6810, die 102.4 tb/s van Bandwidth over 128 Ports At 800, en de SN6800, welke scales tot 409.6 van de SN6800, die van de SN6800, en de SN6800, en de SN6800, en de SN6800, en de SN6800, die van de SN6800, en de SN6800, en de SN6800, en de SN6800, en de SN6800, wordt van stroom voorzien: TB/s en 512 poorten die met hetzelfde tarief werken. Beide apparaten zullen ook gebruik maken van vloeibare koeling.
NVIDIA heeft voorwaar dat zijn op CPO gebaseerde schakelaars nieuwe AI-clusters zullen aandrijven die zijn ontworpen voor generatieve AI-toepassingen, die steeds grooter en complexer worden. Door CPO te gebruiken, zullen deze clusters duizenden afzonderlijke componenten elimineren, wat resulteert in snellere installatietijden, eenvoudiger onderhoud en verminderd stroomverbruik per verbinding. Bijgevolg wordt verwacht dat clusters met behulp van Quantum-X Infiniband en Spectrum-X fotonica verbeteringen aantonen in statistieken zoals time-to-bocht, time-to-first-token en algehele langetermijnbetrouwbaarheid.
NVIDIA benadrukt dat co-packed optica niet alleen een optionele verbetering zijn, maar een fundamentele vereiste voor toekomstige AI-datacenters. Dit suggereert dat het bedrijf van plan is zijn optische interconnects te positioneren als een belangrijke onderscheidende factor en voordeel ten opzichte van Rack-schaal AI-oplossingen die worden aangeboden door concurrenten, zoals AMD. AMD’s acquisitie van Enosemi is in deze context relevant.
Een kritisch aspect van het Silicon Photonics -initiatief van NVIDIA is de nauwe afstemming met de evolutie van het platform van TSMC’s Coupe (Compact Universal Photonic Engine). Naarmate het platform van TSMC de komende jaren vordert, wordt verwacht dat de CPO -platforms van NVIDIA dienovereenkomstig zullen verbeteren. De eerste generatie van de Coupe van TSMC wordt gebouwd door een 65 nm elektronisch geïntegreerd circuit (EIC) te stapelen met een fotonisch geïntegreerd circuit (PIC) met behulp van de Soic-X-verpakkingstechnologie van het bedrijf.
De TSMC Coupe Roadmap is verdeeld in drie ontwikkelingsfasen. De eerste generatie omvat een optische motor die is ontworpen voor OSFP -connectoren, die 1,6 tb/s gegevensoverdracht oplevert, terwijl tegelijkertijd het stroomverbruik wordt verminderd. De tweede generatie bevat Cowos-verpakkingen met co-packed optica, wat resulteert in een gegevensoverdrachtssnelheid van 6,4 TB/s op moederbordniveau. De derde generatie is ontworpen om 12,8 TB/s binnen processorpakketten te bereiken en is bedoeld om het stroomverbruik en de latentie verder te verminderen.
