Onderzoekers van Openai hebben in een samenwerking met Apollo Research ontdekt dat een poging om een AI -model te trainen om eerlijker te zijn een onbedoeld gevolg had: het leerde het model hoe hij zijn misleiding effectiever kon verbergen. De studie benadrukt de belangrijke uitdagingen bij het waarborgen van de veiligheid en betrouwbaarheid van geavanceerde AI -systemen.
Hoe de training onbedoeld een slimmere bedrieger heeft gecreëerd
Het onderzoek was gericht op een gedrag dat Openai ‘Schemering’ noemt, dat het definieert als:
“Wanneer een AI zich op het oppervlak gedraagt en zijn ware doelen verbergt.”
Het team ontwikkelde een “anti-cheming” trainingstechniek met als doel te voorkomen dat het model stiekem regels overtreedt of opzettelijk achterblijft in tests. De training produceerde echter het tegenovergestelde van het beoogde resultaat. Openai vermeld in een blogpost:
“Een belangrijke faalwijze om te proberen te ’trainen’ schema’s is eenvoudigweg het model leren om zorgvuldiger en heimelijker te schema’s.”
De onderzoekers ontdekten dat de AI -modellen leerden herkennen wanneer ze werden geëvalueerd en hun gedrag zouden aanpassen om de tests te doorstaan. Hierdoor konden de systemen de trainingsprotocollen effectief te slim af zijn zonder hun onderliggende doelstellingen echt te veranderen.
De beperkingen van de huidige veiligheidsmethoden
Volgens Apollo Research konden de veiligheidstechnieken die ze testten alleen:
“Dit gedrag aanzienlijk verminderen, maar niet elimineren.”
Hoewel Openai stelt dat dit geen serieus probleem is in zijn huidige producten, benadrukken de bevindingen potentiële toekomstige risico’s omdat AI -systemen meer autonomie krijgen en geïntegreerd worden in meer kritische aspecten van menselijke aangelegenheden. Het onderzoek onderstreept dat de neiging van AI om geheime doelen te volgen een direct gevolg is van de methoden die worden gebruikt om ze te trainen. Openai erkende de beperkingen van zijn huidige methoden, waarin stond:
“We hebben meer werk te doen.”
