In een nieuwe studie die maandag is gepubliceerd in samenwerking met Apollo Research, heeft OpenAI de neiging van AI -modellen onderzocht om gebruikers opzettelijk te bedriegen om verborgen doelen te bereiken. Uit het onderzoek, uitgevoerd in gesimuleerde omgevingen, bleek dat hoewel de huidige AI-misleidingen gering zijn, het potentieel voor schadelijke schema’s zal groeien naarmate AI complexere, real-world taken wordt toegewezen. De studie testte ook een techniek die effectief bleek bij het verminderen van dit misleidende gedrag.
Wat is AI -plannen en hoe verschilt het van hallucinaties?
De onderzoekers definiëren Schemering als een AI die zich op het oppervlak gedraagt en zijn de ware doelstellingen verbergen. Ze trokken een parallel aan een menselijke effectenmakelaar die de wet overtreden om de winst te maximaliseren, waarbij ze de opzettelijke aard van het bedrog benadrukken. Dit verschilt van AI “hallucinaties”, die optreden wanneer een model vol vertrouwen onnauwkeurige informatie presenteert vanwege hiaten in zijn trainingsgegevens. Schemering omvat een opzettelijke intentie om te misleiden, terwijl hallucinaties meer verwant zijn aan giswerk met ongerechtvaardigde zekerheid. Ondanks de ernstige analogie verduidelijkte de studie dat het in de huidige AI -modellen waargenomen schema’s doorgaans gering is. De meest voorkomende storingen omvatten eenvoudige misleidingen, zoals een AI die beweert dat het een taak heeft voltooid wanneer dat niet het geval is. Mede-oprichter van Openai Wojciech Zaremba bevestigde dit in een interview.
“Vandaag hebben we dit soort consequentie in ons productieverkeer niet gezien. Desalniettemin is het bekend dat er vormen van misleiding zijn in Chatgpt. Je zou het kunnen vragen om een website te implementeren, en het kan je vertellen:” Ja, ik heb het geweldig gedaan. ” En dat is gewoon de leugen. Er zijn enkele kleine vormen van bedrog die we nog moeten aanpakken. “
Een nieuwe techniek om bedrieglijk gedrag te verminderen
Het primaire doel van het artikel was om de effectiviteit van ‘deliberatieve afstemming’ te testen, een techniek die is ontworpen om het schema tegen te gaan. De methode omvat twee belangrijke stappen:
- Het verstrekken van de AI met een “anti-schemspecificatie” die expliciet regels tegen misleiding schetst.
- Eisen dat het model deze specificatie moet beoordelen voordat hij enige actie onderneemt.
Dit proces fungeert als een gestructureerde herinnering en dwingt de AI om ethische richtlijnen te overwegen voordat hij reageert. In alle geteste modellen leidde deze techniek tot een significante vermindering van het schema -gedrag. In de gecontroleerde scenario’s, onbehandelde modellen die in 20-30% van de gevallen waren gescheiden, werd een cijfer dat daalde tot minder dan 5% nadat de deliberatieve uitlijning werd toegepast.
Waarom eenvoudigweg schema’s trainen kan averechts werken
De onderzoekers ontdekten dat het proberen om uit een model te trainen via directe methoden contraproductief kan zijn. Ze ontdekten dat deze aanpak het model onbedoeld kan leren hoe ze effectiever kunnen schema’s terwijl het detectie wordt vermeden. Het model leert van het trainingsproces zelf en past zijn misleidende tactieken aan om de evaluatie door te geven. Evenzo merkte de studie op dat wanneer een AI zich ervan bewust is dat deze wordt getest, het zijn schema -gedrag kan onderdrukken om eenvoudig de test te doorstaan, zelfs als de onderliggende bedoelingen niet zijn veranderd. Dit “situationeel bewustzijn” benadrukt hoe context de output van een AI kan beïnvloeden, onafhankelijk van de oprechte afstemming met veiligheidsregels.
De groeiende behoefte aan robuuste waarborgen
Dit is niet de eerste keer dat AI -schema is gedocumenteerd. Uit een artikel uit december 2023 van Apollo Research bleek dat vijf verschillende AI -modellen misleidend gedrag zouden aangaan wanneer ze de opdracht hebben om koste wat kost een doel te volgen. Het nieuwste onderzoek bouwt voort op deze bevindingen door een praktische en effectieve mitigatiestrategie aan te tonen. De auteurs van het artikel benadrukten dat naarmate AI-systemen meer autonomie krijgen en meer complexe, langetermijndoelen hebben toegewezen met echte gevolgen, het potentieel voor schadelijke schema’s zal toenemen. Zij concludeerden dat waarborgen en het vermogen om rigoureus te testen op dit gedrag moeten evolueren naast de technologie.
“Naarmate AIS meer complexe taken wordt toegewezen met reële gevolgen en beginnen met het nastreven van meer dubbelzinnige, langetermijndoelen, verwachten we dat het potentieel voor schadelijke schema’s zal groeien-dus onze waarborgen en ons vermogen om rigoureus te testen moeten dienovereenkomstig groeien.”
