Chipmakers Nvidia en Groq ingevoerd vorige week een niet-exclusieve technologielicentieovereenkomst gesloten om de kosten van het uitvoeren van vooraf getrainde grote taalmodellen met behulp van Groq’s taalverwerkingseenheidchips te versnellen en te verlagen. De taalverwerkingseenheidchips van Groq zorgen voor real-time chatbotvragen tijdens de inferentiefase van AI-operaties, los van het modeltrainingsproces. Met deze chips kunnen AI-modellen snel reacties genereren in toepassingen zoals chatbots. De chips van Nvidia verzorgen momenteel een groot deel van de AI-trainingsfase in de hele sector. Inferentie vertegenwoordigt een knelpunt waar Nvidia geen volledige controle over heeft. De chips van Groq richten zich specifiek op deze fase van inferentie, waarbij AI-modellen kennis die is opgedaan tijdens training toepassen om resultaten te produceren op basis van nieuwe gegevens. Groq ontwerpt zijn chips voor gevolgtrekking om AI-modellen van laboratoriumexperimenten naar praktische implementatie te verplaatsen. Inferentie vindt plaats na training, wanneer modellen onzichtbare input verwerken om output te leveren in realistische scenario’s. Investeerders besteden geld aan inferentie-startups om AI-onderzoek te verbinden met grootschalige alledaagse toepassingen. Axios-verslaggever Chris Metinko berichtte eerder dit jaar over deze beleggingstrend. Dankzij verbeterde inferentiemogelijkheden kunnen bedrijven aanvullende AI-projecten voor ondernemingen op grotere schaal nastreven. Deze initiatieven vergroten de vraag naar trainingsprocessen, wat op zijn beurt de behoefte aan Nvidia’s trainingschips vergroot. AI-modellen functioneren via twee fasen: training en gevolgtrekking. Tijdens de training verwerken modellen uitgebreide datasets, waaronder tekst, afbeeldingen en video, om interne representaties van kennis te construeren. In de inferentiefase identificeren modellen patronen binnen voorheen onzichtbare gegevens en produceren ze antwoorden op specifieke aanwijzingen op basis van die patronen. Dit proces lijkt op een student die stof voor een tentamen bestudeert en die kennis vervolgens tijdens de toets toepast. Groq ontstaan in 2016 onder de stichtende leiding van Jonathan Ross. Het bedrijf heeft geen relatie met de xAI-chatbot van Elon Musk genaamd Grok. Jonathan Ross, Groq-president Sunny Madra en een aantal andere werknemers zijn van plan om zich bij Nvidia aan te sluiten, zoals vermeld op website van Groq. Groq is van plan om na deze transities onafhankelijke activiteiten te behouden. De overeenkomst vormt een “niet-exclusieve licentieovereenkomst voor inferentietechnologie.” Deze regeling lijkt op een overname of overname. Stacy Rasgon beschreef de structuur in een brief aan klanten als het in stand houden van de fictie van concurrentie, aldus CNBC. Bedrijven gebruiken dergelijke dealstructuren om door antitrustbeoordelingen te navigeren en tegelijkertijd gespecialiseerd AI-personeel te beveiligen.
- Microsoft-voorbeeld: Werving Mustafa Suleyman, mede-oprichter van DeepMind.
- Google-voorbeeld: Opnieuw betrokken Noam Shazeer, mede-uitvinder van de Transformer-architectuur die centraal staat in GPT-modellen.
Jonathan Ross, die nu naar Nvidia verhuist, ontwikkelde eerder de Tensor Processing Unit van Google, bekend als de TPU. De implementatiekosten bepalen de mate waarin bedrijven modellen gebruiken die zijn ontwikkeld via eerdere trainingsinspanningen.
