Denkmachines lab, ondersteund door $ 2 miljard aan zaadfinanciering en bemand bij voormalige Openai -onderzoekers, heeft zijn eerste gedetailleerde onderzoeksinzichten gedeeld. Het lab heeft woensdag een blogpost uitgebracht waarin wordt onderzocht hoe AI -modellen kunnen worden gemaakt die meer consistente en reproduceerbare reacties produceren en een fundamentele uitdaging aangaan in de ontwikkeling van kunstmatige intelligentie.
AI Model Consistentieonderzoek richt zich op niet -determinisme in grote taalmodellen
Het blogbericht, getiteld “Het verslaan van niet -determinisme bij LLM -inferentie“onderzoekt waarom AI -modellen vaak verschillende antwoorden op identieke vragen genereren. Hoewel deze variabiliteit is geaccepteerd als een inherent kenmerk van grote taalmodellen, beschouwt het laboratorium van de denkmachines dit niet -determinisme als een oplosbaar probleem in plaats van een onvermijdelijke beperking.
GPU -kernelorkestratie veroorzaakt willekeur
Onderzoeker Horace schreef hij de functie en beweerde dat willekeur in AI -modellen voortkomt uit hoe GPU -kernels worden georkestreerd tijdens het verwerking van inferenties. Inferentieverwerking verwijst naar de rekenstappen die plaatsvinden nadat gebruikers vragen hebben ingediend, zoals op enter drukken in chatgpt. GPU -kernels zijn gespecialiseerde programma’s die worden uitgevoerd op NVIDIA -computerchips. Hij gelooft dat een zorgvuldige beheer van deze orkestratielaag AI -modellen in staat kan stellen om meer voorspelbare en consistente output te genereren.
Consistente reacties verbeteren de training voor het leren van versterkingen
Naast het verbeteren van de betrouwbaarheid voor ondernemingen en wetenschappelijke toepassingen, suggereert hij dat reproduceerbare reacties de training voor versterking (RL) kunnen stroomlijnen. Versterkingsleerbeloningen AI -modellen voor correcte antwoorden, maar inconsistente antwoorden introduceren ruis in trainingsgegevens. Meer consistente antwoorden zouden het RL -proces kunnen verbeteren, dat aansluit bij de eerdere rapportage van de informatie dat het lab van Thinking Machines van plan is RL te gebruiken om AI -modellen aan te passen aan specifieke zakelijke behoeften.
Eerste productlancering gepland voor de komende maanden
Voormalig Openai Chief Technology Officer Mira Murati kondigde in juli aan dat Thinking Machines Lab binnenkort zijn eerste product zal uitbrengen. Ze gaf aan dat het product “nuttig zal zijn voor onderzoekers en startups die aangepaste modellen ontwikkelen”, hoewel specifieke details en of het de reproduceerbaarheidstechnieken bevat, blijven niet bekendgemaakt.
Open onderzoeksbesteding weerspiegelt de vroege openai -aanpak
Denkmachines Lab Aangekondigde plannen om regelmatig blogberichten, code en onderzoeksuitgangen te publiceren om ‘het publiek ten goede te komen, maar ook onze eigen onderzoekscultuur te verbeteren’. Het recente bericht lanceert een nieuwe serie genaamd “Connectionism”, die deze transparantie -engagement weerspiegelt. Deze aanpak weerspiegelt de vroege open onderzoeksbelofte van Openai, hoewel Openai minder transparant werd naarmate deze groeide. De onderzoeksblog biedt zeldzaam inzicht in de activiteiten van Thinking Machines Lab en geeft aan dat het bedrijf aanzienlijke AI -onderzoeksuitdagingen aanpakt, terwijl hij werkt aan producten die de waardering van $ 12 miljard rechtvaardigen.
