Amer S en Ryan McKenna van Google Research kondigden Vaultgema aan op 12 september 2025, als het meest capabele taalmodel dat helemaal opnieuw is getraind met differentiële privacy. Dit open model met 1 miljard parameter gaat aan op privacy-uitdagingen in AI-training door gekalibreerde ruis op te nemen, terwijl een nieuw onderzoekspaper de schaalwetten schetst voor afwegingen voor rekenprivacy-utiliteit, met gewichten die worden vrijgegeven op knuffelende gezicht en kaggle. Differentiële privacy voegt tijdens de training gekalibreerde ruis toe om het onthouden van individuele gegevenspunten te voorkomen, zodat de output van het model statistisch vergelijkbaar blijft, ongeacht of er een voorbeeld van een enkele training is opgenomen. Deze aanpak biedt een wiskundig rigoureus raamwerk voor het beschermen van gebruikersgegevens in grote taalmodellen. Het implementeren van differentiële privacy in taalmodelopleiding introduceert echter specifieke uitdagingen. De ruis verstoort de traditionele schaalwetten, die beschrijven hoe modelprestaties verbeteren met toename van modelgrootte, datavolume en computationele bronnen. In het bijzonder vermindert het geluid de trainingsstabiliteit, waardoor het voor het model moeilijker wordt om consequent te leren zonder problemen tegen te komen, zoals plotselinge pieken in verlies of volledige divergentie tijdens optimalisatie. Om deze instabiliteit tegen te gaan, moeten beoefenaars aanzienlijk grotere batchgroottes gebruiken, die op hun beurt meer computationele kracht en geheugen eisen, waardoor de totale trainingskosten worden verhoogd. Het onderzoekspaper getiteld “Scaling Laws for Differential Private Language Models”, ontwikkeld in samenwerking met Google DeepMind, stelt vergelijkingen vast die deze rekenprivacy-utility-afwegingen nauwkeurig modelleren voor differentieel particuliere grote taalmodellen. Deze vergelijkingen bevatten de ingewikkelde relaties tussen de hoeveelheid berekening, het bereikt privacyniveau en het resulterende modelgebruik, en bieden een voorspellende tool voor het optimaliseren van trainingsconfiguraties. De ontwikkeling van de paper omvatte uitgebreide analyse om te kwantificeren hoe differentiële privacy de dynamiek van modeltraining verandert in vergelijking met niet-private methoden. Door deze wetten af te leiden, bieden de auteurs een basis voor het ontwerpen van efficiënte privémodellen, waardoor onderzoekers prestaties kunnen voorspellen zonder uitputtende experimenten. Geleid door de inzichten uit deze schaalwetten, construeerde het team Vaultgema als een model van 1 miljard parameters op basis van de Gemma 2-architectuur, volledig vanaf nul getraind onder differentiële privacybeperkingen. De gewichten van het model zijn nu openbaar beschikbaar op platforms zoals Hugging Face en Kaggle, vergezeld van een gedetailleerd technisch rapport dat het trainingsproces, hyperparameters en evaluatieresultaten verklaart. Deze release markeert het grootste dergelijke open model tot nu toe, waardoor ontwikkelaars en onderzoekers wereldwijd toegang hebben tot en voortbouwen op een productiekwaliteit differentieel privétaalmodel. De Gemma -serie zelf benadrukt de verantwoordelijkheid en veiligheid in de AI -ontwikkeling, die goed in overeenstemming was met de doelen om vanaf het begin privacybescherming op te nemen. De experimentele methodologie in het onderzoek was gericht op het kwantificeren van de effecten van verschillende modelgroottes, batchgroottes en het trainen van iteraties binnen het differentiële privacy -framework. Om het enorme aantal mogelijke combinaties te beheren, maakten de auteurs vereenvoudiging van veronderstellingen, waardoor hun analyse van de ruisbatch-verhouding werd gericht. Deze verhouding meet de relatieve schaal van de door privacy geïnduceerde ruis tegen de batchgrootte die wordt gebruikt bij stochastische gradiëntafkomst. De veronderstelling geldt omdat de opzettelijke ruis die wordt toegevoegd voor privacy domineert over inherente willekeur van gegevenssteekproef, waardoor de leereffectiviteit van het model voornamelijk kan worden bepaald door deze enkele metriek. Door deze lens maakte de methodologie een systematische evaluatie mogelijk van hoe aanpassingen in deze parameters de algehele prestaties beïnvloeden. Uitgebreide experimenten evalueerden modelprestaties over verschillende modelgroottes en ruisbatch-verhoudingen, waardoor empirische gegevens worden gegenereerd die, in combinatie met deterministische relaties tussen variabelen zoals Compute Budget en Data Budget, gerichte zoekopdrachten ondersteunt. De schaalwetten kunnen bijvoorbeeld de optimale trainingsinstellingen bepalen om verlies te minimaliseren, gezien vaste reken-, privacy- en gegevensbudgetten. Het voorspelde verlies wordt gemodelleerd met behulp van de modelgrootte, het aantal iteraties en de ruis-batchverhouding, die de navigatie van complexe interacties tussen budgetten vereenvoudigt. Deze structuur biedt een duidelijk pad voor beoefenaars om bronnen effectief in evenwicht te brengen tijdens privémodelopleiding. Vanuit een privacy -boekhoudperspectief onthullen de dynamiek tussen het rekenbudget, het privacybudget en de gegevensbudget belangrijke interacties voor een vaste modelgrootte en iteratietelling. Het verhogen van het privacybudget, aangegeven door de parameter ε, vermindert het geluidsniveau, maar levert het rendement af als ze niet worden gecombineerd met uitbreidingen in reken- of gegevensbudgetten. In het bijzonder, zonder overeenkomstige toename van de verwerkte drijvende-puntbewerkingen (flops) of tokens, verbetert de ruis-batchverhouding slechts marginaal, waardoor de winst in nut bepert. Deze synergie onderstreept de noodzaak van gecoördineerde schaalvoordelen: alleen het verbeteren van de privacy verlaagt de effectieve ruis niet voldoende, tenzij ondersteund door meer computationele bronnen of aanvullende trainingsgegevens. Visualisaties in het onderzoek illustreren hoe optimale configuraties verschuiven met veranderende budgetten. Naarmate de privacy- en rekenbeperkingen variëren, beweegt de voorkeurstoewijzing tussen grotere modelgroottes, uitgebreide batchgroottes of aanvullende iteraties. Onder strengere privacybudgetten blijkt bijvoorbeeld dat het prioriteren van grotere batches vaak effectiever is dan het schalen van de modelgrootte, omdat het direct de ruisimpact vermindert. Deze plots beschrijven het minimale haalbare verlies voor verschillende budgetcombinaties, naast storingen van hyperparameters zoals iteraties, batchgrootte en modelafmetingen. Dergelijke granulariteit helpt niet alleen de beste opstelling te identificeren, maar ook van haalbare alternatieven die een vergelijkbaar nut leveren, waardoor flexibiliteit wordt geboden in omgevingen met beperkte middelen. Een centraal inzicht uit de schaalwetten is de aanbeveling om kleinere modellen te trainen met aanzienlijk grotere batchgroottes in vergelijking met niet-private scenario’s. Deze benadering maakt gebruik van het belang van oversized batches bij het stabiliseren van differentiële private stochastische gradiëntafkomst (DP-SGD), een gemeenschappelijke optimalisatiemethode in dit domein. Het inzicht is in grote lijnen van toepassing in verschillende instellingen, hoewel exacte optima -aanpassing op basis van specifieke privacy- en gegevensbudgetten. Inzicht in deze afwegingen zorgt voor een efficiënt gebruik van reken- en privacy-toewijzingen, waardoor verspillende configuraties worden voorkomen. De analyse benadrukt ook flexibiliteit in keuzes, waarbij meerdere modelgroottes vergelijkbare verliezen kunnen bereiken wanneer ze worden geëvenaard met geschikte iteraties en batchaanpassingen. Om Vaultgema te construeren, paste het team de schaalwetten toe om de totale flops te berekenen die nodig zijn voor een reken-optimaal model van 1 miljard parameter afgeleid van Gemma 2. Ze verdeelden deze flops vervolgens over de batchgrootte, iteraties en sequentielengte om het bruikbaarheid onder privacybeperkingen te maximaliseren. Dit toewijzingsproces omvatte iteratieve simulaties met behulp van de voorspellende vergelijkingen om verschillende distributies te testen, waardoor de uiteindelijke opstelling is afgestemd op het laagste verwachte verlies. De resulterende configuratie bracht de behoefte aan ruismitigatie in evenwicht door grote batches met voldoende iteraties om effectief te convergeren, terwijl ze zich houden aan het aantal doelparameters. Een opmerkelijke uitdaging bij het overbruggen van het onderzoek van de schaalwet voor de daadwerkelijke training was het afhandelen van Poisson-steekproef, een belangrijk element van DP-SGD dat zorgt voor robuuste privacygaranties door de selectie van gegevens te willekeurig maken. Aanvankelijk laadde het team gegevens in uniforme batches, maar deze methode bood suboptimale privacybescherming vanwege hogere effectieve ruis. Overschakelen naar Poisson Sampling verbeterde garanties maar geïntroduceerde variabiliteit: batches varieerden in grootte en gegevensverwerking vereiste een gerandomiseerde volgorde. Om deze problemen op te lossen, hebben ze technieken overgenomen van recent werk over schaalbare DP-SGD, die gegevens in batches met een vaste grootte verwerkt door kortere te vullen of langere te snijden. Deze aanpassing behoudt de privacyvoordelen van Poisson -steekproef zonder de efficiëntie van de trainingspijplijn te verstoren. De training van Vaultgema bevestigde de nauwkeurigheid van de schaalwetten, waarbij het definitieve verlies van de training nauw aansluit bij voorspellingen van de vergelijkingen. Deze validatie toont de betrouwbaarheid van het raamwerk voor het voorspellen van resultaten in de ontwikkeling van privémodel, waardoor een betrouwbare gids wordt geboden voor toekomstige inspanningen. Het proces omvatte het monitoren van verliescurves tijdens de training om stabiliteit te garanderen, het aanpassen van hyperparameters indien nodig binnen het vooraf gedefinieerde budget en het verifiëren dat de ruis-batch-verhouding optimaal bleef. Een dergelijke nauwe correspondentie tussen theorie en praktijk versterkt het nut van de wetten in praktische toepassingen. In prestatie-evaluaties bereikt Vaultgema 1B met differentiële privacy hulpprogramma-niveaus vergelijkbaar met het niet-private Gemma3 1B en het GPT-2 1.5B-model. Deze vergelijkingen kwantificeren de resource-eisen van privacybehoudende training, waaruit blijkt dat huidige methoden modellen op gelijke voet produceren met niet-private architecturen vanaf ongeveer vijf jaar eerder. De evaluaties omvatten perplexiteitsstatistieken over uitgehouden gegevens, waarbij de scores van Vaultgema effectief leren weerspiegelen ondanks de toegevoegde ruis, wat de voortgang benadrukt bij het dichten van de hulpprogramma’s door geoptimaliseerde schaalverdeling. Stroomafwaartse beoordelingen op standaardbenchmarks valideren verder de mogelijkheden van Vaultgema. Op Hellaswag presteert het model op niveaus die overeenkomen met zijn niet-private tegenhanger, wat een sterke commonsense-inferentie aantoont. BOOLQ -resultaten duiden op betrouwbare vragen die op Booleaanse vragen beantwoorden, terwijl PIQA competentie toont in fysieke interactievoorspellingen. Socialiqa-evaluaties onthullen een goed begrip van sociale normen, triviaqa bevestigt kennisbehoud voor feitelijke terugroepactie, ARC-C behandelt complexe redeneringsuitdagingen en ARC-E behandelt eenvoudige wetenschapsvragen effectief. Inclusief GPT-2 1.5b in deze vergelijkingen onderstrepen dat de benchmarkscores van Vaultgema afstemmen op oudere niet-private modellen van vergelijkbare schaal, ter illustratie van de status van private trainingsvooruitgang. Vaultgema biedt een formele differentiële privacygarantie op sequentieniveau van ε ≤ 2.0 en Δ ≤ 1,1 × 10⁻¹⁰ voor sequenties van 1024 tokens getekend uit heterogene gegevensbronnen. Het trainingsmengsel weerspiegelt dat van Gemma 2, bestaande uit documenten van verschillende lengtes, voorverzekerden door lange te splitsen in meerdere sequenties en korte korting te verpakken. Deze eenheid op de sequentieniveau past bij het gegevensformaat, hoewel de privacy op gebruikersniveau de voorkeur zou hebben wanneer gegevens rechtstreeks bij personen aansluiten. In de praktijk zorgt deze garantie ervoor dat de antwoorden van het model op zoekopdrachten statistisch niet te onderscheiden blijven, ongeacht of een bepaalde volgorde in training is opgenomen of niet, waardoor het model effectief wordt voorkomen dat het geïsoleerd feit binnen een enkele reeks wordt geleerd. Feiten die in meerdere sequenties verschijnen, kunnen echter nog steeds worden geleerd, waardoor algemene kennisverwerving mogelijk is zonder individuele privacy in gevaar te brengen. Als aanvulling op de theoretische garanties, beoordeelden empirische tests de risico’s van het memorisatie door Vaultgemma aan te vragen met 50-token voorvoegsels uit trainingsdocumenten en controle op reproductie van de daaropvolgende 50 tokens. Het model vertoonde geen detecteerbare memorisatie en genereerde niet -gerelateerde continuaties die niet overeenkwamen met de oorspronkelijke achtervoegsels. Deze uitkomst verifieert de praktische effectiviteit van differentiële privacy bij het onderdrukken van letterlijke terugroepactie, zelfs voor potentieel gevoelige trainingsfragmenten. Het testprotocol omvatte het selecteren van verschillende voorvoegsels uit verschillende gegevensbronnen om een breed monster te dekken, waardoor een uitgebreide dekking van potentiële kwetsbaarheden wordt gewaarborgd. Dankbetuigingen voor het project strekken zich uit tot de Gemma- en Google -privacyteams, met specifiek dankzij Peter Kairouz, Brendan McMahan en Dan Ramage voor feedback over de aankondiging. Mark Simborg en Kimberly Schwede assisteerden bij visualisaties, terwijl bredere Google -teams algoritmeontwerp, infrastructuur en productieonderhoud ondersteunden. Direct contributors, listed alphabetically, include Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Prem Eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar, Daogao Liu, Ruibo Liu, Pasin Manurangsi, Thomas Mesnard, Andreas Terzis, Tris Warkentin, Da Yu en Chiyuan Zhang.
