Wetenschappelijk adviseur Michael Kratsios van het Witte Huis beweerde dat Moonshot, een Chinees bedrijf, het Fable large Language Model (LLM) van Anthropic had gekopieerd om de Kimi K3 te creëren, het grootste open-weight-model dat momenteel beschikbaar is. Kratsios verklaarde dat het model van Moonshot chips gebruikte die niet waren toegestaan voor export naar China, en voegde eraan toe dat de geheime industriële destillatie gericht op het stelen van Amerikaanse technologie “onaanvaardbaar” is. Hij merkte op dat er voortdurend discussies zijn over het mogelijke verbod op Chinese open-weight-modellen, die controversieel zijn geworden in de AI-sector.
Minister van Financiën Scott Bessent herhaalde de opmerkingen van Kratsios en onthulde dat Amerikaanse grote taalmodellen in veel Chinese modellen zijn aangetroffen, die hij ook als ‘onaanvaardbaar’ omschreef. Het ministerie van Financiën heeft de exacte aard van de watermerken in deze modellen niet opgehelderd. Deskundigen waren echter sceptisch over de vraag of alleen distillatie de geavanceerde mogelijkheden van Kimi K3 zou kunnen verklaren, vooral gezien de releasedatum van Fable op 1 juli.
Braden Hancock, een onderzoeker aan het Laude Instituut, wees erop dat het onwaarschijnlijk is om in zo’n kort tijdsbestek een model te ontwikkelen met de kracht van Kimi K3 met alleen destillatietechnieken. Hij zei: “Je kunt niet zoveel gegevens destilleren, een model trainen en het binnen twee weken vrijgeven.” Nathan Lambert, van het Allen Institute for AI, merkte de afnemende effectiviteit van destillatie in de loop van de tijd op en voerde aan dat geavanceerde methoden zoals versterkend leren nodig kunnen zijn om dergelijke modellen hun capaciteiten te laten verwezenlijken.
Het destillatieproces omvat het systematisch bevragen van een LLM om de functionaliteiten ervan te repliceren. Dit proces kan onder meer supervisie verfijning (SFT) omvatten, waarbij het doelmodel een nieuw model traint door het gedrag ervan te emuleren. Lambert stelde vast dat SFT weliswaar voordelen heeft, maar dat deze afnemen naarmate de complexiteit van het model toeneemt. Om de mogelijkheden van Fable te repliceren kan het nodig zijn om versterkend leren te leren, wat veel middelen kan vergen en mogelijk geen superieure prestaties garandeert.
In de AI-industrie bestaat een voortdurend conflict over distillatiepraktijken. Anthropic had Moonshot er eerder van beschuldigd systematisch gegevens uit zijn modellen te halen, daarbij verwijzend naar miljoenen verdachte uitwisselingen die via IP-adressen werden gemonitord. Elon Musk getuigde dat zijn bedrijf, SpaceXAI, ook destillatietechnieken op OpenAI-modellen gebruikte om Grok te ontwikkelen, wat aantoont hoe gebruikelijk deze praktijk in de sector is.
Hancock onderstreepte dat Amerikaanse percepties de technische vaardigheden van Chinese AI-teams kunnen bagatelliseren, verwijzend naar de mede-oprichter van Moonshot, een PhD-afgestudeerd aan de Carnegie Mellon University. Moonshot zou verboden Nvidia-chips hebben gebruikt terwijl hij toegang had tot met GB300 uitgeruste servers in Thailand om Kimi K3 te ontwikkelen. Sam Bresnick, onderzoeker bij Georgetown’s Centre for Security and Emerging Technology, merkte het bestaan op van een zwarte markt voor dergelijke chips, die nog steeds verboden zijn voor export naar China. Pogingen om de regelgeving voor het gebruik van deze geavanceerde chips af te dwingen moeten nog aanzienlijke vooruitgang boeken.
Het ministerie van Handel van president Biden heeft regels voorgesteld voor datacenters om in 2024 maatregelen voor klantidentificatie in te voeren. Tijdens de vorige regering hebben zich echter geen significante ontwikkelingen op dit gebied voorgedaan, en exporteurs moeten ervoor zorgen dat hun geavanceerde chips voor legitieme toepassingen worden gebruikt.
