
Als iemand een ervaring met AI deelt, is het verstandig om te vragen welk model is gebruikt en wanneer. Nieuwe versies volgen elkaar snel op en kunnen meer dan hun voorgangers. Een slechte ervaring van een jaar geleden hoeft dus niet te betekenen dat dezelfde opdracht nu nog steeds mislukt.
Recent kwam de kinderserie Spike van Netflix in het nieuws omdat de AI-stemmen onnatuurlijk klonken en de AI-vertalingen beroerd waren. De Engelse uitdrukking “Here you go!” werd vertaald als “Hier je gaat!”, waar “Alsjeblieft” bedoeld was. En “It was him” klonk in het Nederlands als “Het was hij”. Ik heb fragmenten van de aflevering in het nieuws gehoord. Ik vroeg me toen wel af welke techniek is gebruikt, want recente stemmen kunnen heel goed klinken. Hetzelfde geldt voor een chatbot die je steeds met een kluitje in het riet stuurt. Dat hoeft niet meer, al hangt het resultaat ook af van hoe zo’n chatbot is ingericht.
Prompt engineer zou het helemaal worden
Nog niet zo lang geleden leek goed kunnen prompten een vak op zich. Prompt engineer zou zelfs het beroep van de toekomst worden: iemand die precies wist hoe je een opdracht aan een taalmodel moest formuleren om een goed antwoord te krijgen. Inmiddels adviseert OpenAI gebruikers van zijn redeneermodellen om opdrachten eenvoudig en direct te houden. Prompttrucs, zoals het model opdragen stap voor stap te denken, zijn volgens het bedrijf niet nodig en kunnen zelfs hinderen. Duidelijk zijn over wat je wilt, blijft wel helpen natuurlijk.
Veel van wat we over AI leren, heeft een houdbaarheidsdatum. Soms is die verrassend kort. Dat geldt bijvoorbeeld voor een waarschuwing die je vaak hoort: ChatGPT verzint bronnen. Onderzoekers Owen Queen en James Zou van Stanford herhaalden recent een onderzoek uit 2023 waarin ChatGPT korte literatuuroverzichten moest schrijven. Destijds bleek 55 procent van de opgegeven bronnen verzonnen. Bij recentere modellen zagen ze grote verschillen. Claude Sonnet 5.5 verzon in hun test ongeveer 1 procent van de verwijzingen, GPT-6.1 Sol geen enkele. Bij Qwen3.7-Flash was juist 69 procent van de verwijzingen verzonnen. Ook hier maakt het dus uit welk model je gebruikt.
Probeer dezelfde taak opnieuw!
Het is een van de voorbeelden uit hun onderzoek naar de houdbaarheid van bevindingen over taalmodellen. Queen en Zou verzamelden vijftig veelgeciteerde onderzoeksbevindingen en bekeken hoe die standhielden bij twintig modellen van acht ontwikkelaars. Van de vijftig onderzochte bevindingen waren er 22 volgens hun maatstaf grotendeels achterhaald. Bij nog eens zeventien was het gevonden effect flink afgenomen. Acht bevindingen hielden stand en drie waren sterker geworden. Met “achterhaald” bedoelen de onderzoekers niet dat een probleem overal verdwenen is. Meestal gaat het om een effect dat in hun analyse is teruggelopen tot maximaal een vijfde van het oorspronkelijke effect. Bij afzonderlijke modellen kan de uitkomst anders zijn.
Wie een AI-toepassing een paar jaar geleden afschreef omdat het model bronnen verzon of een ingewikkelde opdracht niet begreep, kan diezelfde taak opnieuw proberen. Met hetzelfde verzoek en een nieuwer model. De uitkomst kan je verrassen, al blijft het verstandig de bronnen te controleren. Ook OpenAI schrijft dat ChatGPT nog steeds onjuiste antwoorden kan geven.
Vrienden, ik groet U!
Erwin Blom


