De halfgeleiderindustrie is getuige van een fascinerende rivaliteit nu Advanced Micro Devices (AMD) de dominantie van NVIDIA op de AI-acceleratormarkt uitdaagt. Met zijn Instinct MI300X staat AMD op het punt de status quo te verstoren en een kosteneffectief en krachtig alternatief te bieden voor NVIDIA’s H100. De stijgende vraag naar AI-chips, gedreven door de explosieve groei in AI-acceptatie en datacenteruitbreiding, intensiveert deze concurrentie verder.
In de snel veranderende wereld van AI-chiptechnologie, AMD boekt opmerkelijke vooruitgang in het uitdagen van de dominantie van NVIDIATerwijl NVIDIA momenteel het leeuwendeel van de markt in handen heeft, geschat op meer dan 80%AMD wint gestaag aan momentum, met name in de datacentersector. Deze stijging wordt gevoed door de robuuste vraag naar hun MI300X AI-chip, met verwachte verkoop wat neerkomt op een indrukwekkende 4 miljard dollar, goed voor ongeveer 15% van de verwachte omzet van AMD.
Als het op prestaties aankomt, worden de H100-chips van NVIDIA nog steeds algemeen erkend vanwege hun bekwaamheid in AI-werklasten, vooral op het gebied van trainingDe MI300X van AMD bewijst echter zijn waarde in specifieke AI-taken, met name inferentie, waarbij sommigen beweren dat het zelfs beter presteert dan NVIDIA’s vlaggenschip H100.
Wat betreft industriële partnerschappen en acceptatie, kan NVIDIA bogen op goed gevestigde samenwerkingen met grote cloudproviders en geniet het brede acceptatie in diverse sectoren. Aan de andere kant, AMD is actief bezig met het aangaan van partnerschappenzoals de alliantie met TensorWave, om zijn bereik te vergroten en zijn technologie voor AI-gerichte taken te verfijnen.
De dynamische wisselwerking tussen deze twee giganten belooft een opwindende toekomst voor de AI-chipmarkt. Ik sprak met Darrick Horton, CEO bij TensorWaveom te begrijpen waarom het bedrijf al zijn AI-eieren in het AMD-mandje heeft gelegd.
AMD’s Instinct MI300X: een game-changer?
De MI300X heeft een grotere geheugencapaciteit dan de H100, waardoor hij voordelig is voor specifieke AI-taken, met name die met grote taalmodellen. Hoewel de H100 over het algemeen meer ruwe rekenkracht biedt, toont de MI300X veelbelovendheid in inferentietaken en grotere batchgroottes.
Hoewel exacte prijzen niet openbaar zijn, is de MI300X naar verluidt goedkoper en biedt hij mogelijk een betere prijs-prestatieverhouding. NVIDIA’s CUDA-platform geniet echter een bredere acceptatie en een volwassener software-ecosysteem.
“Een van de opvallende kenmerken van de MI300X is de superieure geheugenarchitectuur”, vertelde Horton me. “Met maximaal 192 GB aan unified HBM3-geheugen presteert de MI300X aanzienlijk beter dan de H100, wat zorgt voor naadloze verwerking van grotere modellen en datasets direct op de accelerator. Dit vermindert de behoefte aan off-chip geheugentoegang, wat een knelpunt kan zijn in AI-workloads, wat leidt tot betere prestaties, cachingmogelijkheden en lagere latentie.”
Andere overwegingen die TensorWave ertoe brachten om een partnerschap met AMD aan te gaan, zijn onder meer energie-efficiëntie en het software-ecosysteem van AMD.
“De MI300X is ontworpen met energie-efficiëntie in gedachten en levert uitstekende prestaties per watt”, aldus Horton. “Dit is met name belangrijk naarmate AI-workloads schalen, waardoor bedrijven hoge prestaties kunnen behalen zonder de energiekosten te laten stijgen. Deze efficiëntie is een kritieke factor bij grootschalige implementaties, waarbij operationele kosten een belangrijke zorg kunnen zijn. Het ROCm-platform (Radeon Open Compute) van AMD blijft zich ontwikkelen en biedt robuuste ondersteuning voor AI- en HPC-workloads. open-source karakter van ROCm biedt ontwikkelaars flexibiliteit en de mogelijkheid om hun applicaties voor de MI300X te optimaliseren, iets dat steeds belangrijker wordt naarmate AI-modellen geavanceerder worden.”
De hybride architectuur van de MI300X combineert CPU- en GPU-mogelijkheden, die de prestaties over verschillende workloads kunnen optimaliseren en efficiënt kunnen schalen over meerdere accelerators. Dit alles schetst een beeld van een aantrekkelijk alternatief voor NVIDIA.
Natuurlijk hanteren AMD en NVIDIA zeer verschillende benaderingen voor het bouwen van grootschalige GPU-systemen. AMD geeft de voorkeur aan de open standaard van PCIe 5.0, die bredere compatibiliteit en mogelijk lagere kosten biedt, terwijl NVIDIA vertrouwt op zijn NVLink-interconnect met hoge bandbreedte voor verbeterde prestaties in bepaalde scenario’s, maar met mogelijke schaalbaarheidsbeperkingen en hogere kosten.
Een missie om AI-toegang te democratiseren
Het prijsmodel van TensorWave lijkt erop gericht om de toegang tot hoogwaardige AI-infrastructuur te democratiseren. De gerapporteerde lagere kosten voor het leasen van AMD GPU’s via het platform kunnen bijdragen aan het toegankelijker maken van geavanceerde AI-technologieën voor een breder scala aan organisaties.
“Als het gaat om GPU-inkoop, is het verre van een simpele 1-klik-afrekening”, aldus Horton. “Het proces wordt vaak vertraagd door productieachterstanden, waardoor de verzendtijd onvoorspelbaar is. Bovendien kunnen de kosten vooraf onbetaalbaar zijn. We hebben onze datacenters al uitgerust met duizenden MI300X GPU’s, klaar om te implementeren wanneer u dat wilt. Maar stel dat u erin slaagt om uw hardware te krijgen. Nu staat u voor de uitdaging om die hardware en de hele datacenterinfrastructuur te bouwen, beheren en onderhouden. Dit is een tijdrovend en kostbaar proces waar niet iedereen mee overweg kan. Met onze cloudservice verdwijnen die zorgen.”
Hoewel NVIDIA momenteel een dominante positie heeft, zijn AMD’s Instinct MI300X en de innovatieve aanpak van TensorWave klaar om de markt voor AI-versnellers te verstoren.
“NVIDIA is de dominante kracht op de AI-acceleratormarkt, maar wij geloven dat het tijd is dat dat verandert”, aldus Horton. “We willen de markt zoveel mogelijk opties bieden. We willen dat bouwers zich losmaken van leverancierslock-in en niet langer afhankelijk zijn van niet-open-sourcetools waarbij ze afhankelijk zijn van de leverancier. Wij geloven in keuze. Wij geloven in open-source-optionele mogelijkheden. Wij geloven in het democratiseren van computing. Deze principes stonden centraal toen we onze cloud bouwden en concentreerden op AMD MI300X-accelerators.”
TensorWave vindt dit belangrijk, omdat steeds meer MKB-bedrijven en grote bedrijven AI-tools gaan inzetten, net zoals grote ondernemingen dat al doen.
“Denk aan accountantskantoren, advocatenkantoren en onderzoeksinstellingen”, aldus Horton. “Ze hebben enorme hoeveelheden historische data. Als ze AI-tools kunnen bouwen die leren van deze datasets, is het potentieel voor positieve bedrijfsresultaten enorm. Om dit te bereiken, moet je echter grote datasets (250.000+ tokens) verwerken, wat aanzienlijk geheugen en prestaties van de hardware vereist. En dit is niet alleen theoretisch: ondernemingen werken momenteel actief aan oplossingen voor lange contexten.”
Een gedurfde weddenschap in een spel met hoge inzetten
TensorWave gelooft ook dat AMD de nieuwe standaard zal worden, aangezien LLM’s nieuwe hoogten bereiken. Dit is een belangrijke reden waarom het bedrijf al zijn geld op AMD zet (blackjackmetafoor bedoeld).
“Naarmate AI-modellen steeds groter en geheugenintensiever worden, hebben NVIDIA’s oplossingen moeite om te concurreren met de MI300X in termen van prijs-prestatieverhouding. Neem bijvoorbeeld het Llama 3.1 405B-model van Meta. Dat model kan draaien op minder dan één volledige MI300X-node (8 GPU’s), terwijl het ongeveer twee nodes vereist met de H100B. We wedden er sterk op dat de AI-community klaar is voor iets beters: sneller, kosteneffectiever, open-source en direct beschikbaar.
TensorWave verdubbelt zijn investering in AMD en kijkt naar de toekomst door nieuwe mogelijkheden te ontwikkelen om de toegang tot rekenkracht verder te democratiseren.
“We ontwikkelen schaalbare cachingmechanismen die de efficiëntie van het verwerken van lange contexten drastisch verbeteren”, aldus Horton. “Hierdoor kunnen gebruikers met aanzienlijk verminderde latenties met grotere chats en documenten interacteren, wat zorgt voor soepelere en responsievere ervaringen, zelfs in de meest veeleisende AI-applicaties.”
TensorWave is momenteel nog in bètaversie en verwacht dit in het vierde kwartaal van 2024 voor zijn gebruikers beschikbaar te maken.
De technische voordelen van de MI300X, gecombineerd met de focus van TensorWave op democratisering en kosteneffectiviteit, vormen een aantrekkelijk alternatief voor bedrijven die op zoek zijn naar hoogwaardige AI-oplossingen.
Zet in op een betere toekomst
De “see, raise, and call” tussen AMD en NVIDIA zal ongetwijfeld verdere vooruitgang in GPU-technologie en AI-toepassingen in de hele industrie stimuleren. Naarmate de vraag naar AI blijft groeien, zullen beide bedrijven een cruciale rol spelen in het vormgeven van de toekomst van deze transformatieve technologie.
Of AMD uiteindelijk NVIDIA kan overtreffen, moet nog blijken. Hun aanwezigheid op de markt bevordert echter gezonde concurrentie, innovatie en uiteindelijk het hele AI-ecosysteem. De strijd om AI-suprematie is nog lang niet voorbij en de wereld kijkt vol verwachting toe hoe deze twee techgiganten de grenzen van het mogelijke blijven verleggen.
