Rol, Taak, Context, Format. Wen er maar aan. 

AI kan prima antwoorden geven maar ook hele slechte. Daar kan niemand omheen. Is het dan een tool die je niet kan/mag gebruiken of kunnen we leren om de kans op goede antwoorden (enorm) te vergroten? En hoe doe je dat dan?

100 jaar medisch wetenschappelijk onderzoek heeft artsen geleerd om om te gaan met onzekerheid en daarvoor procedures te bedenken die ervoor zorgen dat de kans dat we gelijk hebben veel groter wordt. Laten we enkele van die principes eens toepassen op het gebruik van AI.

1. Verifeerbaarheid. 

In een CAT accepteren we geen artikelen zonder verifieerbare zoekstrategie. Niet uit wantrouwen, maar omdat een bewering zonder vindplaats niet te controleren en dus ook niet te weerleggen is. Bij een taalmodel is dat probleem lastiger. Het is ontworpen om mooie, vloeiende zinnen te schrijven die niet uit een bron komen maar uit een kansverdeling, en dat kan je aan de tekst niet zien. Een verzonnen referentie ziet er precies zo uit als de echte.

Verifieerbaarheid is daarom niet wat je van het antwoord mag verwachten; het is iets wat je in de vraag organiseert. Dat gaat langs twee wegen: 

• Veranker het model aan de bron die jíj aanlevert — het artikel, de richtlijn, het lokale protocol — in plaats van aan wat het zich meent te herinneren.
• vraag expliciet om markering van alles wat daar niet in staat: geef per bewering aan waar in de tekst die staat, en zet apart wat je toevoegt uit eigen kennis.

Wat je daarmee wint is geen zekerheid maar je verkleint het oppervlak dat je moet controleren, vaak precies genoeg om het werkbaar te maken. Je loopt niet meer een heel antwoord na, je loopt de markeringen na. Een model dat hardop twijfelt is bruikbaarder dan een model dat stellig gokt.

2. Reproduceerbaarheid

Een resultaat dat niemand kan herhalen is geen resultaat. Vandaar de methodesectie: niet het leukste deel van een artikel, wel het deel dat wetenschappelijk onderzoek onderscheidt van random gedachten.

Bij AI-gebruik ontbreekt die methodesectie vrijwel altijd. Precies het verschil tussen een reproduceerbaar resultaat en een mooi verhaal. 

Nu is de vergelijking niet helemaal eerlijk want een taalmodel is niet deterministisch: dezelfde prompt levert twee keer een ander antwoord op (zo zijn de AI modellen geprogrammeerd, dit is een 'feature', niet een 'bug'.
Dat is minder erg dan het klinkt, en het is de reden dat de vier velden van de RTCF ertoe doen. Wat je daarmee vastlegt is niet de uitkomst maar de procedure, en hoe specifieker die is, hoe meer de variatie in de vorm gaat zitten in plaats van in de inhoud.
Vergelijk het met twee beoordelaars bij een KPB. Zonder rubric lopen ze uiteen, met rubric komen ze dicht bij elkaar — niet omdat ze hetzelfde denken, maar omdat ze dezelfde vraag beantwoorden. Een prompt is de rubric van je AI.

Praktisch betekent dit vooral: noteer op wat werkt. Mijn AI houd daar een simpel bestand voor bij, geen systeem, gewoon een lijst, en de vijf prompts die ik het vaakst hergebruik zijn als 'skill' geprogrammeerd en hebben me meer tijd bespaard dan alle losse handigheidjes bij elkaar. 

3. De vraag komt voor het antwoord.

Het derde principe is het lastigste, en mijns inziens het belangrijkste. In onderzoek leggen we hypothese en uitkomstmaat vast voordat we de data zien. De reden is niet administratief. Wie eerst kijkt en daarna bepaalt wat hij zocht vindt altijd wel wat — en heeft geen manier meer om te weten of het er ook echt was.

Bij AI gebeurt exact dat, alleen dan binnen twee seconden. Je stelt een vage vraag, er komt een keurig geformuleerd antwoord uit, en dat antwoord bepaalt met terugwerkende kracht wat je wilde weten. Het leest goed, dus het zal wel goed zijn.
Daar zit de valkuil: AI-antwoorden zijn zonder uitzondering goed geschreven. Vloeiendheid is bij een taalmodel geen signaal van kwaliteit, het is een basisinstelling. Maar onze onderbuik, die decennia heeft geleerd dat een goed lopend betoog meestal van iemand komt die het snapt, leest het wel zo.

De remedie is dezelfde als in onderzoek: leg de uitkomstmaat vast voordat je het antwoord ziet. Wat moet erin staan, voor wie is het, in welke vorm, hoe lang, en waaraan zie ik straks dat ik het kan gebruiken? Dat is geen extra werk bovenop het vragen. Het is precies de informatie die het model nodig heeft, en dat is de reden dat de vier velden bestaan.

Bovenstaande in de praktijk

De theorie is misschien interessant, maar een praktijktest is beter. Daarom heb ik een oefening die ik in workshops gebruik nu ook gezet: de blinde test.
Drie rondes prompten, een zonder context en een met; als resultaat steeds twee antwoorden naast elkaar en je moet éérst kiezen welke je bruikbaarder vindt voordat je ziet welke welke was.
De volgorde wisselt per keer, dus gokken op links of rechts helpt niet. Na je keuze zie je beide prompts en waar het verschil precies in zat. Het kost een minuut of vijf en het schept waarschijnlijk meer duidelijkheid dan bovenstaande theoretische uitleg.

Waarom je eerst moet kiezen

De reden dat de keuze vóór de onthulling komt, is dat het anders niet werkt. Weet je van tevoren welke de "goede" is, dan lees je netjes een goed geformuleerd antwoord en accepteer je waarschijnlijk het antwoord juist omdat het netjes geformuleerd is. 
Weet je van tevoren niet welke met context geschreven is en welke zonder, dan beoordeel je zoals je dat in je werkweek ook doet: op de werkelijke waarde.

Vier velden, dertig seconden

Het bezwaar dat ik het vaakst hoor is dat zo'n prompt te veel tijd of 'mentale energie' kost. Dat komt door het woord "raamwerk", dat klinkt als "huiswerk". In de praktijk is RTCF geen formulier van vier alinea's maar een rondje langs vier vragen, en dat kost na enige oefening niet meer dan dertig seconden (en is overigens ook heel gemakkelijk te automatiseren):

• Rol — wie moet er antwoorden? Niet "je bent mijn AI-assistent", wel "je bent een ervaren klinisch epidemioloog" of "je bent voorlichter communicatie van een revalidatiecentrum die op B1-niveau schrijft". Het niveau van je gesprekspartner bepaalt het niveau van het antwoord.
• Taak — één sturend werkwoord. Vergelijk, beoordeel, overhoor, herschrijf, vat samen. "Vertel iets over" is geen taak.
• Context — hier zit vrijwel alle winst, en hier vult iedereen te weinig in. Voor wie is het antwoord bedoelt, wat weet die al, in welke setting, wat wil je vermijden, en vooral: welke bron moet het model gebruiken?
• Format — lengte, structuur, toon, plus de veiligheidsinstructie: markeer wat onzeker is, werk alleen met de aangeleverde bron, geen patiëntgegevens.

Vergeet je een veld, dan vult het model het zelf in. Dat is precies wat er gebeurt bij een kale zoekopdracht: het kiest zelf een rol (een vlot schrijvende generalist), een taak (iets vertellen) en een doelgroep (niemand in het bijzonder). Je krijgt dan geen fout antwoord, je krijgt een antwoord voor een gemiddelde lezer die niet bestaat.

Twee dingen die de eerste week makkelijker maken

De eerste: laat het model je prompt afmaken. Zet onderaan je vraag:

De tweede: bewaar wat werkte. Een prompt die één keer een bruikbaar resultaat gaf, doet dat volgende maand weer. Een simpel bestandje (of de beste prompts teruggeven aan de AI en instrueren deze kwaliteit steeds te blijven bieden) doet wonderen. 

Wat ik zou doen als ik vandaag begon

Doe de blinde test — vijf minuten.
Neem daarna één taak uit je eigen week die je toch al moest doen, en schrijf er twee versies van: eerst zoals je het gisteren gevraagd zou hebben, daarna met de vier velden ingevuld. Leg de antwoorden naast elkaar en stel jezelf dezelfde vraag als in de test: welke kan ik gebruiken zonder alles na te lopen?

Dat is genoeg voor de eerste week. Wat er daarna komt — het model verankeren aan een bron, controleren of het zich daaraan houdt, en de vraag wat je überhaupt aan zo'n systeem kunt overlaten — vraagt meer dan één artikel. Daar kom ik nog op terug.