OpenAI Orion, het AI-model van de volgende generatie van het bedrijf, stuit op prestatiemuren die beperkingen in traditionele schaalbenaderingen blootleggen. Bronnen die bekend zijn met de zaak onthullen dat Orion kleinere prestatiewinsten oplevert dan zijn voorgangers, wat OpenAI ertoe aanzet zijn ontwikkelingsstrategie te heroverwegen.
Uit vroege tests blijkt dat er sprake is van plateau-verbeteringen
Uit de eerste tests door medewerkers blijkt dat Open AI Orion behaalde prestaties op GPT-4-niveau na het voltooien van slechts 20% van de training. Hoewel dit misschien indrukwekkend klinkt, is het belangrijk op te merken dat vroege stadia van AI-training doorgaans de meest dramatische verbeteringen opleveren. Het is onwaarschijnlijk dat de resterende 80% van de training significante vooruitgang zal opleveren, wat erop wijst dat OpenAI Orion GPT-4 wellicht niet ruimschoots zal overtreffen.
“Sommige onderzoekers bij het bedrijf zijn van mening dat Orion niet betrouwbaar beter is dan zijn voorganger in het uitvoeren van bepaalde taken”, meldde De informatie. “Orion presteert beter bij taaltaken, maar presteert mogelijk niet beter dan eerdere modellen bij taken als coderen, aldus een medewerker van OpenAI.”
Het dataschaarste-dilemma
De uitdagingen van OpenAI met Orion benadrukken een fundamenteel probleem in de AI-industrie: het afnemende aanbod van hoogwaardige trainingsgegevens. Onderzoek gepubliceerd in juni voorspelt dat AI-bedrijven de beschikbare openbare, door mensen gegenereerde tekstgegevens tussen 2026 en 2032 zullen uitputten. Deze schaarste markeert een cruciaal keerpunt voor traditionele ontwikkelingsbenaderingen, waardoor bedrijven als OpenAI gedwongen worden alternatieve methoden te verkennen.
“Onze bevindingen geven aan dat de huidige trends in de LLM-ontwikkeling niet kunnen worden volgehouden door conventionele dataschaling alleen”, aldus het onderzoek papieren staten. Dit onderstreept de noodzaak van het genereren van synthetische gegevens, het leren van overdrachten en het gebruik van niet-openbare gegevens om de modelprestaties te verbeteren.
OpenAI’s tweesporige ontwikkelingsstrategie
Om deze uitdagingen aan te pakken, herstructureert OpenAI zijn aanpak door de modelontwikkeling in twee afzonderlijke sporen te verdelen. De O-serie, met de codenaam Strawberry, richt zich op redeneervermogen en vertegenwoordigt een nieuwe richting in de modelarchitectuur. Deze modellen werken met een aanzienlijk hogere rekenintensiteit en zijn expliciet ontworpen voor complexe probleemoplossende taken.
Tegelijkertijd blijven de Orion-modellen – of de GPT-serie – evolueren, waarbij ze zich concentreren op algemene taalverwerkings- en communicatietaken. OpenAI’s Chief Product Officer Kevin Weil bevestigde deze strategie tijdens een AMA en zei: “Het is niet of of, het is beide: betere basismodellen plus meer tijdsberekening voor aardbeienschaal/inferentie.”
Synthetische gegevens: een tweesnijdend zwaard
OpenAI onderzoekt het genereren van synthetische data om de dataschaarste voor OpenAI Orion aan te pakken. Deze oplossing introduceert echter nieuwe complicaties bij het handhaven van de modelkwaliteit en betrouwbaarheid. Trainingsmodellen op basis van door AI gegenereerde inhoud kunnen leiden tot feedbackloops die subtiele onvolkomenheden versterken, waardoor een samengesteld effect ontstaat dat steeds moeilijker te detecteren en te corrigeren is.
Onderzoekers hebben ontdekt dat een sterke afhankelijkheid van synthetische data ervoor kan zorgen dat modellen in de loop van de tijd verslechteren. Het Foundations-team van OpenAI ontwikkelt nieuwe filtermechanismen om de gegevenskwaliteit te behouden en implementeert validatietechnieken om onderscheid te maken tussen hoogwaardige en potentieel problematische synthetische inhoud. Ze onderzoeken ook hybride trainingsbenaderingen die menselijke en door AI gegenereerde inhoud combineren om de voordelen te maximaliseren en de nadelen te minimaliseren.
OpenAI Orion bevindt zich nog in de beginfase en er zit nog aanzienlijk ontwikkelingswerk in het verschiet. CEO Sam Altman heeft aangegeven dat het dit jaar of volgend jaar nog niet klaar zal zijn voor implementatie. Deze langere tijdlijn zou voordelig kunnen zijn, waardoor onderzoekers de huidige beperkingen kunnen aanpakken en nieuwe methoden voor modelverbetering kunnen ontdekken.
Geconfronteerd met hogere verwachtingen na een recente financieringsronde van $6,6 miljard, wil OpenAI deze uitdagingen overwinnen door zijn ontwikkelingsstrategie te innoveren. Door het dilemma van dataschaarste frontaal aan te pakken, hoopt het bedrijf ervoor te zorgen dat OpenAI Orion een substantiële impact zal hebben op de uiteindelijke release.
Uitgelichte afbeeldingscredits: Jonathan Kemper/Unsplash
