OpenAI onthulde zijn inaugurele, op maat gemaakte inferentieprocessor, genaamd Jalapeño, die was ontwikkeld in samenwerking met Broadcom. De processor voldoet specifiek aan de specifieke vereisten van de inferentiesystemen van OpenAI, waarbij het bedrijf beweert dat zijn eigen AI-modellen hebben bijgedragen aan de ontwikkeling ervan.
De chip wordt nog steeds getest, maar de eerste resultaten duiden op een aanzienlijke verbetering van de prestaties per watt in vergelijking met de huidige toonaangevende alternatieven. OpenAI’s samenwerking met Broadcom werd officieel aangekondigd in oktober, en de creatie van aangepaste chips werd gezien als een strategie om de afhankelijkheid van Nvidia’s grafische verwerkingseenheden te verminderen.
Google en Amazon hebben vergelijkbare aangepaste chips gemaakt, genaamd ‘AI-accelerators’, om machine learning-taken te versnellen. In een interne podcast besprak OpenAI-president Greg Brockman de chipontwikkelingsstrategie van het bedrijf nadat hij de samenwerking met Broadcom had aangekondigd. “We hebben een diep inzicht in de werkdruk”, zei Brockman. “We zijn echt op zoek geweest naar specifieke werklasten die onvoldoende worden bediend, [en vragen] hoe we iets kunnen bouwen dat in staat zal zijn om te versnellen wat mogelijk is?”
Jalapeño is op maat gemaakt voor inferentietaken, waarbij vooraf gebouwde AI-modellen worden toegepast op basis van gebruikersopdrachten. Volgens OpenAI biedt de chip lage bedrijfskosten bij het beheren van realtime codeermodellen. Voor prestatie-intensieve processen zoals pre-training kan echter nog steeds Nvidia-hardware nodig zijn. Zelfs kleine verlagingen van de inferentiekosten zouden de winstgevendheid van OpenAI aanzienlijk kunnen vergroten.
Het optimaliseren van het gevolgtrekkingssysteem is van cruciaal belang voor de toekomstige economie van AI, en het bedrijf breidt zijn mogelijkheden uit over de hele technologische stapel. OpenAI ontwikkelt tegelijkertijd producten zoals Codex en de modellen die deze ondersteunen, en zet datacentra op voor de implementatie van modellen. Verwacht wordt dat de verschuiving naar op maat gemaakt silicium deze operationele efficiëntie verder zal verbeteren.
OpenAI legde uit dat zijn strategie het ontwerp van infrastructuurcomponenten omvat, waaronder chiparchitectuur, kernels, geheugensystemen, netwerken, planning en implementatiesystemen. Deze alomvattende aanpak maakt optimalisatie mogelijk in alle lagen van de technologie, met als doel snellere, betrouwbaardere en kosteneffectievere modellen voor gebruikers te leveren.
