Academische instellingen hebben een wildgroei aan door AI gegenereerde citaten van niet-bestaande artikelen in wetenschappelijke publicaties geregistreerd, wat de legitimiteit van onderzoek ondermijnt, aldus Andrew Heiss, assistent-professor aan de Andrew Young School of Policy Studies van de Georgia State University. Heiss ontdekte dat grote taalmodellen (LLM’s) verzonnen citaten genereren, die vervolgens in de professionele wetenschap verschijnen. Bij het volgen van valse bronnen in Google Scholar observeerde Heiss tientallen gepubliceerde artikelen waarin varianten van deze niet-bestaande onderzoeken en tijdschriften werden aangehaald. In tegenstelling tot door AI gegenereerde artikelen, die vaak snel worden ingetrokken, worden deze hallucinante tijdschriftnummers in andere artikelen geciteerd papierenwaardoor foutieve informatie effectief wordt gelegitimeerd. Dit proces leidt ertoe dat studenten en academici deze ‘bronnen’ als betrouwbaar accepteren zonder hun authenticiteit te verifiëren, waardoor de illusie van geloofwaardigheid wordt versterkt door herhaalde citaten. Onderzoeksbibliothecarissen melden dat ze tot 15% van hun werkuren besteden aan het reageren op verzoeken voor niet-bestaande records die zijn gegenereerd door LLM’s zoals ChatGPT of Google Gemini. Heis opgemerkt dat door AI gegenereerde citaten vaak overtuigend lijken, met namen van levende academici en titels die lijken op bestaande literatuur. In sommige gevallen waren citaten gekoppeld aan daadwerkelijke auteurs, maar bevatten ze verzonnen artikelkoppen en tijdschrifttitels die het eerdere werk van de auteur of echte tijdschriften nabootsten. Academici, waaronder psycholoog Iris van Rooij, hebben gewaarschuwd dat de opkomst van AI ‘slop’ in wetenschappelijke bronnen een bedreiging vormt voor wat zij ‘de vernietiging van kennis’ noemde. In juli tekenden Van Rooij en anderen een open brief pleiten voor universiteiten om hoger onderwijs, kritisch denken, expertise, academische vrijheid en wetenschappelijke integriteit te beschermen, en dringen aan op een rigoureuze analyse van de rol van AI in het onderwijs. Software-ingenieur Anthony Moser voorspelde in 2023 dat chatbots ertoe zouden kunnen leiden dat docenten syllabi maken met niet-bestaande teksten en dat studenten vertrouwen op AI om essays samen te vatten of te schrijven, een scenario dat volgens hem nu werkelijkheid is geworden. Moser stelt dat het beschrijven van LLM-outputs als ‘hallucinaties’ hun functie verkeerd voorstelt, en stelt dat voorspellende modellen ‘altijd hallucinerend’ zijn en ‘structureel onverschillig staan tegenover de waarheid’. Hij zei dat LLM’s het informatie-ecosysteem stroomopwaarts vervuilen, waarbij niet-bestaande citaten het onderzoek infiltreren en in daaropvolgende artikelen circuleren, waarbij ze worden vergeleken met langdurige chemicaliën die moeilijk te traceren of te filteren zijn. Moser schrijft het probleem toe aan ‘weloverwogen keuzes’ en beweert dat bezwaren ‘genegeerd of terzijde geschoven’ zijn. Hij erkent dat “slecht onderzoek niet nieuw is”, maar stelt dat LLM’s de reeds bestaande druk om te publiceren en te produceren hebben versterkt, wat heeft geleid tot artikelen met twijfelachtige gegevens. Craig Callender, hoogleraar filosofie aan de Universiteit van Californië in San Diego en voorzitter van de Philosophy of Science Association, is het daarmee eens en merkt op dat “de schijn van legitimiteit voor niet-bestaande tijdschriften het logische eindproduct is van bestaande trends.” Callender wijst op het bestaan van tijdschriften die valse artikelen accepteren voor winst of bevooroordeeld onderzoek, waardoor een groeiend ‘moeras’ in wetenschappelijke publicaties ontstaat. Hij suggereert dat AI dit probleem verergert, waarbij AI-ondersteunde Google-zoekopdrachten mogelijk het waargenomen bestaan van deze verzonnen tijdschriften kunnen versterken en desinformatie kunnen verspreiden. Onderzoekers melden wijdverbreide ontmoediging omdat nep-inhoud verankerd raakt in openbare onderzoeksdatabases, waardoor het moeilijk wordt om de oorsprong van claims te achterhalen.
