Snakken AI-chatbots ook naar de kerstvakantie? Onderzoek na klachten over ‘luie’ ChatGPT

Steeds meer gebruikers van de nieuwste (betaalde) versie van ChatGPT (model GPT4) klagen dat de chatbot kortere antwoorden geeft, weigert te doen wat mensen vragen, of zelfs werk bij de gebruikers teruglegt. Ook de toon die ChatGPT soms aanslaat, wordt door sommige gebruikers als brutaal of lui ervaren. Andere mensen vragen zich zelfs af of de chatbot misschien last heeft van een winterdepressie. Dat melden onder andere technologiesites ‘Ars Technica’ en ‘The Verge’.

Een programmeur nam de som op de proef en gaf ChatGPT 477 opdrachten, waarbij hij qua invoer alleen de maand veranderde. Hij stelde vast dat de taalrobot een langer antwoord gaf (gemiddeld 4.298 tekens) wanneer deze te horen kreeg dat het mei was, dan wanneer het december was. In dat geval antwoordde ChatGPT met gemiddeld 4.086 tekens. Verschillende onderzoekers proberen sindsdien dat onderzoek na te bootsen, maar ontdekten vooralsnog geen significante verschillen. Dat zou aan de onderzoeksopzet kunnen liggen, dus wordt gewerkt aan een andere manier om het vermeende fenomeen te onderzoeken.

Sommige gebruikers denken dat moederbedrijf OpenAI de chatbot simpelweg opzettelijk lui heeft gemaakt om de systemen van het bedrijf minder te belasten. Daar is volgens OpenAI geen sprake van, en men zegt de feedback van gebruikers zeer serieus te nemen: “We hebben al jullie reacties gezien over het steeds luier worden van GPT4! We hebben het model sinds 11 november niet meer bijgewerkt, en dit is zeker niet de bedoeling. Het gedrag van het model kan onvoorspelbaar zijn en we onderzoeken of we dit kunnen oplossen”, schreef het officiële account van de chatbot een kleine week geleden op X (voorheen Twitter).

Hoewel de mensen achter ChatGPT niet denken dat het model zichzelf heeft veranderd sinds de update van 11 september, sluiten ze niet uit dat er subtiele verschillen kunnen zijn bij een aantal opdrachten of vragen. Het kan volgens het bedrijf een tijdje duren voordat die kleine verschillen überhaupt als patronen worden opgemerkt door klanten, waardoor het ook even kan duren voordat werknemers aanpassingen kunnen maken in het model.

Verschillende programmeurs en AI-experten doen momenteel dan ook volop onderzoek naar de ‘luiheidshypothese’. Dat zelfs een winterdepressie van de chatbot door gebruikers niet wordt uitgesloten, komt doordat ook de invoer van mensen door de ChatGPT wordt gebruikt om te leren. Als gebruikers last hebben van een winterdepressie, dan zouden ze die ongewild door hun invoer kunnen overdragen aan de chatbot, menen sommige gebruikers.

Het zou ook te maken kunnen hebben met de manier waarop we opdrachten aan de chatbot geven. Hoeveel moeite steken we zelf nog in het duidelijke opdracht geven aan software die draait op kunstmatige intelligentie?Het geven van concrete instructies (“Leg stap voor stap uit...”) kan betere resultaten opleveren dan “Zeg me hoe...” Weer andere gebruikers gebruiken trucjes om hun favoriete chatbot te stimuleren betere antwoorden te geven. Soms door simpelweg te liegen dat ze geen vingers hebben, in andere gevallen door de chatbot een fooi te beloven. Ook een meer menselijke benadering, met aanmoedigingen als “adem diep in”, zouden betere resultaten opleveren, zeggen weer andere gebruikers.

Ten slotte zou ook onze verbeelding een rol kunnen spelen. Nu her en der berichten opduiken over een luie taalrobot, zijn we misschien kritischer gaan kijken naar de antwoorden van ChatGPT.

Maar wat als we het de applicatie zelf vragen? Die ontkent in alle toonaarden minder hard te werken in deze periode van het jaar: “Als een machine learning model ben ik niet onderhevig aan vermoeidheid, luiheid of seizoensinvloeden”.