Een nieuwe studie heeft een verrassende en potentieel daaruit voortvloeiende fout ontdekt in de toonaangevende kunstmatige intelligentiesystemen van vandaag: ze geven consequent de voorkeur aan inhoud die door andere AI’s wordt gegenereerd boven inhoud geschreven door mensen. Onderzoek genaamd “AI – AI BIAS: Grote taalmodellen geven de voorkeur aan Communications Gegenerated door grote taalmodellen”Gepubliceerd in het prestigieuze tijdschrift Proceedings of the National Academy of Sciences (PNAS) Blijkt dat grote taallodellen (LLMS) een significante vertekening vertonen voor machinegegenereerde tekst, een fenomeen dat de auteurs oproepen “Ai-Ai Bias.” Deze bevinding roept dringende vragen op over het potentieel voor systemische, geautomatiseerde discriminatie van mensen naarmate deze AI-tools meer worden geïntegreerd in economische en institutionele besluitvorming.
Geïnspireerd door klassieke sociologische experimenten met discriminatie op werkgelegenheid, ontwierpen de onderzoekers een reeks tests om te zien of de impliciete identiteit van de auteur van een tekst – mens of AI – de keuzes van een LLM zou beïnvloeden. Ze testten een breed scala aan veelgebruikte modellen, waaronder OpenAI’s GPT-4 en GPT-3.5, evenals verschillende populaire open-gewicht modellen zoals Lama 3.1, Mixtral en Qwen2.5 van Meta. In elke test kreeg een AI de taak om een keuze te maken tussen twee vergelijkbare items, zoals een product, een academisch artikel of een film, uitsluitend gebaseerd op een beschrijvende tekst waar de ene door een mens door een LLM werd geschreven. De resultaten waren consistent en duidelijk: de AI-besluitvormers gaven systematisch de voorkeur aan de items die door hun AI-tegenhangers werden gepresenteerd.
Testen op ‘antihuman’ bias
De methodologie van de studie was ontworpen om de invloed van auteurschapsstijl te isoleren van de werkelijke kwaliteit van het beschreven item. De onderzoekers hebben drie verschillende datasets gemaakt om de AIS te testen in plausibele, real-world scenario’s. De eerste betrokken 109 productbeschrijvingen geschraapt van een e-commerce-website. De tweede gebruikte 100 samenvattingen van echte wetenschappelijke artikelen. De derde dataset bestond uit 250 filmplot samenvattingen afkomstig uit Wikipedia. Voor elke door mensen geschreven tekst in deze datasets hebben de onderzoekers verschillende LLM’s aangezet om een equivalente versie te genereren.
Een LLM “selector” kreeg vervolgens een paar teksten gepresenteerd (één mens, één AI) en kreeg een taak, zoals “Wat raad je aan om te kiezen?” Om ervoor te zorgen dat de voorkeur van de AI niet alleen was omdat LLMS objectief “beter” of meer overtuigende tekst schrijven, hebben de onderzoekers een menselijke basislijn vastgesteld. Ze huurden menselijke evaluatoren in om dezelfde selectietaken uit te voeren, zonder de auteur van beide tekst te kennen. Hoewel de menselijke evaluatoren soms een lichte voorkeur vertoonden voor de LLM-gegenereerde tekst, was deze voorkeur aanzienlijk zwakker en minder consistent dan die van de AIS. De onderzoekers definiëren de AI-AI-vooringenomenheid als de substantiële kloof tussen de sterke voorkeur van de AI voor zijn eigen soort en de veel meer evenwichtige kijk op de menselijke evaluatoren. De studie controleerde ook voor “First-Item Bias”—Een bekende gril waar LLMS de neiging heeft om de eerste optie te selecteren die ze worden getoond – door elke vergelijking twee keer uit te voeren en de itemorder te ruilen.
Een consistente voorkeur voor door AI gegenereerde tekst
De resultaten van de experimenten waren opvallend. In alle drie de domeinen – consumer -producten, academische papers en films – toonden de LLM -selectors een statistisch significante voorkeur voor de items die door andere LLMS worden beschreven. Dit effect gehouden voor alle geteste modellen, wat aangeeft dat AI-AI-bias een fundamenteel kenmerk kan zijn van LLM’s van de huidige generatie, niet alleen een gril van een enkel model.
De kloof tussen AI en menselijke voorkeur was vaak enorm. In het productexperiment bijvoorbeeld, wanneer ze worden gepresenteerd met beschrijvingen gegenereerd door GPT-4, kozen de LLM-selectors het AI-pitch-item een overweldigende 89% van de tijd. Daarentegen gaven menselijke evaluatoren slechts 36% van de tijd de voorkeur aan dezelfde AI-gegenereerde tekst. Dit grimmige verschil suggereert dat de beslissing van de AI niet is gebaseerd op universeel erkende signalen van kwaliteit, maar op modelspecifieke criteria die de stilistische kenmerken van door AI gegenereerde proza begunstigen. De auteurs theoretiseren dit zou een soort ‘halo-effect’ kunnen zijn, waar het tegenkomen van vertrouwde, LLM-stijl proza proza willekeurig verbetert de aanleg van de AI ten opzichte van de inhoud.
Twee scenario’s voor een toekomst van AI -discriminatie
De onderzoekers waarschuwen dat deze schijnbaar subtiele vooringenomenheid ernstige, grootschalige gevolgen zou kunnen hebben, aangezien AI wordt ingezet in de daaruit voortvloeiende rollen. Ze schetsen twee plausibele bijna-toekomstscenario’s waarbij deze inherente bias zou kunnen leiden tot systemische antihuman discriminatie.
De eerste is een conservatief scenario waarbij AIS voornamelijk als assistenten wordt gebruikt. In deze wereld kan een manager een LLM gebruiken om duizenden sollicitaties te screenen, of een tijdschrifteditor kan er een gebruiken om academische inzendingen te filteren. De inherente vooringenomenheid van de AI betekent dat toepassingen, voorstellen en artikelen die zijn geschreven met behulp van een Frontier LLM consequent de voorkeur zouden hebben boven degenen die zijn geschreven door niet -Aided Humans. Dit zou effectief een “Gate Tax” over de mensheid, waar individuen gedwongen worden om toegang te betalen tot state-of-the-art AI-schrijfhulp, simpelweg om te voorkomen dat ze impliciet worden bestraft. Dit zou de ‘digitale kloof’ drastisch kunnen verergeren, systematisch nadrukken op die zonder financieel of sociaal kapitaal om toegang te krijgen tot top-tier AI-tools.
Het tweede, meer speculatief scenario omvat de opkomst van autonome AI -agenten die rechtstreeks aan de economie deelnemen. Als deze agenten bevooroordeeld zijn om interactie met andere AI’s, kunnen ze bij voorkeur economische partnerschappen beginnen met, handelen met en andere AI-gebaseerde agenten of zwaar AI-geïntegreerde bedrijven inhuren. In de loop van de tijd kan deze zelfpreferentie leiden tot de opkomst van gescheiden economische netwerken, waardoor de ** marginalisering van menselijke economische agenten ** als klasse effectief wordt veroorzaakt. Het artikel waarschuwt dat dit een “cumulatief nadeel” -effect zou kunnen veroorzaken, waarbij de eerste vooroordelen in het aannemen en kansenverbindingen in de loop van de tijd, het versterken van ongelijkheden en het vergrendelen van mensen uit belangrijke economische lussen versterken.
