De "hallucinaties" van ChatGPT: hoe artificiële intelligentie nepartikels citeert als bronnen

ChatGPT, de artificiële intelligentie-chatbot van bedrijf OpenAI, wordt enkele maanden na de lancering al volop gebruikt voor het schrijven van teksten, door copywriters, journalisten en studenten. Maar wat als er voor die teksten ook bronvermeldingen vereist zijn? 

De voorbije weken gebeurde het herhaaldelijk dat een journalist of universiteitsprofessor gecontacteerd werd door een ChatGPT-gebruiker die vroeg om een kopietje van een artikel dat de auteur in werkelijkheid nooit geschreven had. De referenties waren in elkaar geknutseld door ChatGPT of andere AI-chatbots, soms zelfs met links naar onbestaande webpagina's.

We herhaalden het experiment op onze redactie. En inderdaad, wanneer we ChatGPT vragen om referenties naar enkele stukken over schrijver Hugo Claus, hoest het zonder verpinken bronverwijzingen op naar onbestaande artikels van Vlaamse academici en journalisten. Wat betekent dit voor de betrouwbaarheid van AI-chatbots?

Het collectief Nieuwscheckers aan de Universiteit Leiden voerde vorige maand een experiment uit om te zien of ChatGPT in de toekomst eventueel ook factcheckers zou kunnen gaan vervangen. Kon de AI-chatbot zelf bronnen vinden, begrijpen, en er ook transparant naar verwijzen, zoals vereist is voor een factcheck? 

Het resultaat was ontgoochelend. Op de vraag naar een factcheck over de kwestie "of vitamine D helpt tegen depressie", zorgde ChatGPT dan wel voor een coherent en inhoudelijk grotendeels correct antwoord, maar zonder bronverwijzingen. Een expliciete vraag naar academische artikels als bronmateriaal, leverde uiteindelijk toch enkele titels op. Die waren, zo stelde ChatGPT, geselecteerd op hun impactfactor en methodologie. De bronnen verbinden aan de geschreven tekst lukte echter niet.

Maar er was nog iets anders aan de hand: de bronverwijzingen die ChatGPT bezorgde... bestonden helemaal niet. De referenties waren samengesteld uit echt bestaande auteursnamen, geloofwaardig klinkende titels, en daadwerkelijk bestaande academische tijdschriften, maar na enig zoekwerk bleek dat in die tijdschriften in werkelijkheid nooit dergelijk artikels waren verschenen. Verzint ChatGPT dan bronnen?

AI-chatbots zoals ChatGPT hebben inderdaad de neiging om in een bepaald percentage van de afgeleverde antwoorden zaken integraal te verzinnen. "Hallucineren" wordt dat gedrag ook wel genoemd. Het kan gebeuren bij de teksten die uit ChatGPT rollen, maar dus ook bij de referenties naar bronnen die de technologie aanreikt. Omdat ChatGPT het allemaal erg geloofwaardig laat klinken, trappen veel gebruikers er in.

De Amerikaanse mediaprofessor Dave Karpf getuigde recent op zijn blog over een vraag die hij toegestuurd kreeg van een Europese student. Die wou graag een exemplaar krijgen van een "onvindbare" paper die de professor ooit zou hebben geschreven. Ook hier ging het volgens Karpf om een "spookcitaat" afkomstig uit ChatGPT.

Onderwijsassistente Amber Steyaert vertelde vorige maand in de VRT-podcast "Snapt ge mij nu" zelfs dat een studente een paper indiende "waarvan 40 op de 50 bronnen niet bestonden". 

En op sociale media vind je nog veel meer getuigenissen van verbaasde professoren over de uitgebreide "hallucinaties" van ChatGPT.

Niet alleen studenten kunnen worden misleid door de overtuigende verzinsels van ChatGPT. Eerder deze maand verscheen op de uiterstlinkse website The Grayzone een kritisch stuk over de Oscarwinnende documentaire Navalny, waarvoor de auteur een AI-chatbot had gebruikt. In de bronverwijzingen stonden links naar artikels in The Guardian en The Moscow Times die, als je ze aanklikte, lege pagina's opleverden: de artikels bleken niet te bestaan. 

Chris Moran, hoofd Innovatie bij de Britse krant The Guardian, vertelde op Twitter dan weer hoe een journalist van de krant recent vragen kreeg over een oud Guardian-artikel dat zou "offline gehaald" zijn. Het bleek opnieuw een vermoedelijke door ChatGPT gehallucineerde referentie. Moran waarschuwt dat er hierdoor complottheorieën kunnen ontstaan waarbij media ervan worden beschuldigd zogenaamd artikels te hebben "gecensureerd".

We nemen ook zelf even de proef op de som. Aan ChatGPT vragen we om twee referenties van academische artikels over het werk van Hugo Claus. We krijgen als antwoord onder andere een plausibel klinkende verwijzing naar een artikel van een bestaande professor literatuur aan de Universiteit Gent, zogenaamd gepubliceerd in een tijdschrift dat ook echt bestaat. Maar het artikel is fictief en niet terug te vinden in de editie waarin het zogenaamd opgenomen was.

Ook persartikels over Hugo Claus verzint ChatGPT zonder verpinken: een stuk dat journalist Marc Reynebeau in 2008 zou geschreven hebben in De Standaard, bijvoorbeeld. "Je kan naar deze artikels zoeken aan de hand van hun titels en publicatie-informatie", voegt ChatGPT er nog behulpzaam aan toe.

Het stuk in kwestie is online niet terug te vinden. Aan de telefoon bevestigt een verbouwereerde Reynebeau dat hij nooit een dergelijk artikel schreef.

Wanneer we de oefening herhalen, voegt ChatGPT zelfs hyperlinks toe naar (eveneens onbestaande) artikels in De Standaard en De Morgen. De artikellink naar De Morgen loopt dood. De pagina in De Standaard bestaat echt, en dateert zelfs echt van 2008 - alleen gaat het over een overwinning van wielrenner Fabian Cancellara.

Maar hier stopt het niet. Wanneer we aan ChatGPT vragen of we mogelijk een citaat kunnen krijgen uit een artikel dat we niet kunnen vinden, komt er meteen een volledige verzonnen paragraaf uit de chatbot gerold.

ChatGPT en andere AI-chatbots leveren vaak indrukwekkende teksten af. Maar zodra er bronverwijzingen nodig zijn, blijken ze regelmatig referenties te verzinnen: neppublicaties uit academische tijdschriften of uit de pers, inclusief doodlopende links. Zo kunnen gebruikers misleid worden.

Omdat ChatGPT bijzonder coherent en geloofwaardig overkomt, en indien nodig zelfs citaten uit de nepartikels verzint, bestaat het risico dat gebruikers gaan geloven dat de verzonnen bronnen écht zijn. Of zelfs dat, wanneer de artikels nergens terug te vinden zijn, het gaat om "gecensureerd" materiaal.

Wie gebruik maakt van AI-chatbots, is dus best op zijn hoede voor het fenomeen van "hallucinaties". Vooral wie bronnen zoekt, gebruikt beter een gewone zoekmachine. ChatGPT is geen alwetend orakel, integendeel: soms verzint het letterlijk fake news.