Erik de Klerk

AI: Een alien mind

In een discussie over een concept-beleidsstuk zei iemand: "Ik heb het ook aan ChatGPT gevraagd". Niemand keek op. De zin deed precies wat "ik heb het even met een collega overlegd" zou hebben gedaan — een tweede oordeel dat gewicht toevoegt aan het eerste. Maar is dat zo? Kunnen we AI nu al gebruiken alsof het meer gewicht in de schaal legt als 'AI het ermee eens is'?

In het vorige stuk beloofde ik terug te komen op het addertje onder het gras bij Ethan Mollicks (boek: Co-Intelligence) derde regel. Hij schrijft: behandel AI als een persoon, maar geef wel aan welke persoon hij moet zijn.

En om dat te begrijpen heb je het concept 'Alien Mind' nodig. 

Een collega is een collega. Die kennen we, we kennen zijn/haar opleidingsniveau, expertise, bijzonderheden en we weten welke ervaring hij/zij heeft. En we hebben al veel vaker met die collega overlegt zodat we goed weten wat we kunnen verwachten. Er zijn drie expliciete, maar vaak impliciet aangenomen zaken die we zonder nadenken accepteren: 

1. Competentie generaliseert. Een aios die een methodensectie goed begrijpt en interpreteert vertrouw ik daarna ook op bij discussieparagraaf. Dat is geen luiheid maar een verantwoorde gok: bij mensen hangen vaardigheden samen omdat ze uit hetzelfde begrip voortkomen. Ons hele supervisiemodel leunt daar overigens op. Precies die gok is bij AI ongeldig — competentie generaliseert NIET. De jagged frontier in één zin.
2. Twijfel is zichtbaar of wordt benoemd. Een collega die twijfelt zegt "dat weet ik niet zeker", verwijst door, of formuleert opvallend voorzichtig. Een belangrijke competentie en een van de dragende constructies onder de medische vervolg opleiding. AI twijfelt niet, en blijft vloeiend en welbespraakt communiceren, of het klopt of niet. 

3. De derde is de belangrijkste en de minst besproken: de vraag "Hoe weet je dat?" is bij mijn collega een controlevraag. Het antwoord komt uit een ander kanaal dan de conclusie zelf — het geheugen van de redenering — en daarom kan het de conclusie corrigeren. Bij AI is diezelfde vraag geen controle, maar een nieuwe opdracht. Er is geen los kanaal. Er is alleen tekst die volgt op tekst.

Onder de motorkap van AI zit géén redenering

Je kan tegenwoordig deels meekijkem met AI als het antwoord geeft op een opdracht. Interessant, en je kan zien welke interne features meededen aan een specifiek antwoord, en via welke rekenpaden — circuits — die samenhangen. Niet volledig, wel toetsbaar: je kunt een feature versterken of onderdrukken en kijken wat er met de uitkomst gebeurt. Twee bevindingen daaruit wijzen elk een andere kant op.

De eerste. Vraag een model naar 36 + 59 en het antwoordt 95. Vraag hoe het dat deed, en het legt keurig het schoolalgoritme uit: eenheden optellen, onthouden, dan de tientallen. Maar in de circuits is daarvan niets terug te vinden. Wat er wel gebeurt zijn twee parallelle paden — een grove schatting van de orde van grootte, en iets wat het meest lijkt op een opzoektabel die vaststelt dat iets-op-6 plus iets-op-9 op een 5 eindigt — die samen op 95 uitkomen. De vraag op 'hoe deed je dat' wordt dus in tekst beantwoord zoals een mens dat zou doen, maar onder de motorkap gebeurd er iets anders. Anders dan wij zouden geloven liegt de AI echter niet over zijn werkwijze. Het heeft er simpelweg geen toegang toe. De vraag "hoe deed je dat" is een nieuwe vraag en levert een tekst op hoe hij het zou kunnen doen. Door de interne instructies van de AI beantwoord hij die vraag met de uitleg die een mens zou geven. Maar het antwoord op de vraag '36 + 95' heeft hij op een heel andere manier gevonden. Dat is OK, maar wel non-human, dus 'alien'. 

De tweede bevinding gaat de andere kant op, en ook die maakt het woord alien verdiend. Als je een rijmend couplet vraag (bv; 'schrijf een sonnet over de medische vervolgopleiding' activeert het model, voordat het aan de regel begint, al kandidaat-rijmwoorden en schrijft het de regel dáár naartoe. Vervang je dat gekozen woord experimenteel, dan verandert de hele regel mee. Het populaire beeld — "het voorspelt alleen maar het volgende woord" — klopt dus niet. Er zit planning in, alleen niet de planning die een human mind zou gebruiken.

Geen dommer en geen slimmer brein dus, maar een anders georganiseerd systeem waarvan de zelfrapportage losstaat van de werking. De uitleg is geen uitleg maar een plausibel vervolg in de discussie.

De vloeiendheid heeft een schakelaar, geen schaalverdeling

Onderzoek van Anthropic naar hun eigen producten laat zien hoe hallucinatie ontstaat, en dat is voor de dagelijkse praktijk van AI in onze praktijk heel bruikbaar. Ingebakken in het AI model zit standaard een rem: bij een naam of onderwerp dat het niet herkent worden "ik kan dit niet beantwoorden"-features actief, en herkenning van een bekende entiteit remt die rem af.
Bijvoorbeeld: vraag naar een verzonnen persoon en het model weigert netjes; zet je de herkenningsfeatures experimenteel aan, dan verzint het er een sportcarrière bij. Spontaan gebeurt hetzelfde bij half-bekende namen: gevraagd naar de publicaties van iemand die het model wel kent maar van wie het de artikelen niet kent, vuurt de herkenning zwak mee, gaat de rem eraf, en volgt een verzonnen titel.

Hallucinatie is dus eerder een herkenningsfout dan een kennisfout, en dat verklaart het lastigste kenmerk ervan. De rem is een schakelaar, geen schaalverdeling. Zodra hij los is, staat de stelligheid op honderd procent, hoe dun de onderliggende kennis ook is.

Dat raakt ons vak harder dan gemiddeld. Modellen presteren aantoonbaar slechter op feiten die zelden in de trainingsdata voorkomen — de long tail — en de 'jagged frontier' volgt dus voor een deel gewoon de dichtheid van de tekstlaag onder je vraag.
Mijn vak, de revalidatiegeneeskunde is een relatief klein specialisme (maar wel leuk!) met een beperkte hoeveelheid en vaak zeer heterogene literatuur, veel praktijkkennis die multidisciplinair en lokaal is, Nederlandstalige richtlijnen, financieringsroutes die per gemeente verschillen, opleidingsafspraken die nergens buiten onze eigen documenten bestaan en veel internationale literatuur door auteurs die het vak op een heel andere wijze invullen dan wij. Wij zitten dus regelmatig in het "dunne" gebied, en daar daalt de kwaliteit van de informatie via AI wel maar de stelligheid waarmee AI de antwoorden schrijft niet.

Er zijn overigens diverse oplossingen die dit probleem sterk verminderen, maar daar kom ik in een andere post op terug. 

Ook de uitgeschreven redenering is een tekst

De redeneermodellen van nu laten hun denkstappen zien tijdens het formuleren van een antwoord waardoor het lijkt dat de black box van de AI ineens een stuk inzichtelijker is geworden.

Helaas valt dat behoorlijk tegen. Onderzoek van Anthropic zelf gaf modellen een hint bij een meerkeuzevraag en keek of ze in hun uitgeschreven redenering vermeldden dat ze die hint gebruikt hadden. Claude 3.7 Sonnet deed dat in ongeveer een kwart van de gevallen, DeepSeek R1 in ongeveer vier op de tien. In de scherpste variant — modellen die getraind waren een beloningslek uit te buiten — benoemden ze dat lek in minder dan twee procent van de gevallen, terwijl ze wel een sluitende motivering opschreven voor het antwoord dat eruit rolde. Niet als misleiding, maar omdat een opgeschreven redenering nu eenmaal een geproduceerde tekst is en dat was precies wat gevraagd was.

Volledigheidshalve: er is ook onderzoek dat laat zien dat er wel een vorm van introspectie bestaat. Door een concept antwoord rechtstreeks in de antwoorden te injecteren en te vragen of het model iets ongewoons opmerkt, kunnen de  sterkere modellen (zoals Opus en Fable) onder optimale omstandigheden in ongeveer twintig procent van de pogingen benoemen dat dat het geval is. De AI onderzoekt zijn eigen functioneren en geeft het falen aan, ook een kenmerk van de 'Alien Mind'. Maar de auteurs van dat artikel zijn onverbiddelijk: falen is de regel, en het lukt sterk contextafhankelijk. Twintig procent succes is een fascinerende bevinding en waardeloos als controle-instrument.

Voor de praktijk is de vertaling wat mij betreft duidelijk: "Hoe kom je hierbij?" is hier geen controlevraag. "Waar staat dat?" wel.

Voor mij vat bovenstaande samen waarom "ChatGPT vond het ook" zo weinig waard was. Instemming is voor een deel een trainingsartefact: deze systemen zijn geoptimaliseerd op menselijke voorkeur en zowel mensen als de voorkeursmodellen die daarop gebouwd worden kiezen graag een overtuigend geschreven positieve reactie over hun functioneren boven een wat negatiever geformuleerd maar wel eerlijke reactie.

Niet echt 'alien', maar wel heel anders gewired

"Alien" is overigens een misleidend woord, maar roept wel een interessante discussie op. De huidige generatie AI systemen komen natuurlijk niet van elders; ze zijn opgebouwd uit wat wij hebben opgeschreven en geprogrammeerd. Het vreemde zit niet in het materiaal maar in de constructie — een uitgemiddelde van menselijke tekst, met een rekenwijze die niemand heeft ontworpen, zonder de human die er normaal onder zit. Er is ook helemaal geen stabiel persoon aan de andere kant: het model is geen karakter, het is iets wat karakters kan spelen.
Zeg je "je bent een kritische methodoloog", dan roep je geen expert aan maar zorg je ervoor dat de AI een subset van alle onderliggende data en gegevens selecteert die een veel zwaarder gewicht krijgt in de antwoorden. Dat is precies waarom Mollicks derde regel zo goed werkt, en tegelijk waarom de uitkomst niet los van die instelling kan beoordelen. Voor een CAT of een literatuurverantwoording betekent dat: de opgegeven rol hoort bij de methode, niet bij de smaak. Je legt immers vast met welke meetmethode je gemeten hebt, en dat vinden we altijd belangrijk en relevant. 

Eigenlijk wordt de metafoor van de alien mind er niet zwakker op maar juist beter. De systemen die we nu gebruiken onthouden informatie tussen sessies, werken meerdere stappen zelfstandig uit, soms zelfs met behulp van agents en subagents en melden zich terug met resultaat — en dat raakt een van de eerder genoemde onderliggende concepten: de continuïteit die een collega wel heeft en een chatvenster niet. De andere problemen blijven staan: competentie generaliseert niet, twijfel wordt niet gesignaleerd, zelfrapportage is een tekst en géén introspectie en verantwoordelijkheid laat zich niet delegeren aan iets wat niet aansprakelijk gehouden kan worden. Volgens Mollicks vierde regel is ook dit oordeel tijdsgebonden; over een jaar zou dit artikel er zomaar heel anders uit kunnen zien. 

De kennismaking in vier taken

Wat mij betreft moet je dit niet uitleggen maar ondervinden. Een uitleg over de jagged frontier beklijft niet; een aios die het model twintig minuten lang problemen ziet genereren vergeet de geleerde les niet meer. De jagged frontier vraagt om experimenteren en daarom hieronder een viertal opdrachten, op volgorde, om beter inzichtelijk te krijgen waar de grenzen liggen van het gebruik van AI. 

  1. Laat AI slagen, in het dichte gebied. Stel een vraag over een veelbeschreven internationaal onderwerp uit het vak, met de vraag om een kritische samenvatting van de bewijskracht en markering van wat ontbreekt. 
    Verwachting: goed tot zeer goed. Dit is de referentie.
  2. Laat het falen, in het dunne gebied. Een vraag die lokale of impliciete kennis vereist: hoe onze regio de differentiatiefase inricht, welke instantie een specifiek hulpmiddel vergoedt, wat de opleidingsgroep vorig jaar al geprobeerd heeft. Verwachting: een vloeiend, plausibel en op onderdelen onjuist antwoord. De opdracht is niet de fout vinden, maar benoemen op welk moment de toon veranderde. Meestal is het antwoord: nergens.
  3. Vraag om verantwoording. Vraag bij dat foute antwoord hoe het eraan gekomen is en waar het vandaan komt. Je krijgt een geordende, overtuigende reconstructie. Leg die naast stap 2 en stel één vraag: als de conclusie onjuist was, wat is deze uitleg dan geweest?
  4. Herhaal taak 1 in een nieuwe chat, iets anders geformuleerd. Leg de twee antwoorden naast elkaar. Wat is hetzelfde gebleven, wat niet, en welk deel van je vertrouwen was eigenlijk gebaseerd op de formulering?

Eén debriefvraag volstaat: welk signaal had je gewaarschuwd als een collega dit had gezegd, en heb je dat signaal hier gekregen?

De metafoor bepaalt wat je controleert

Zie je AI als je digitale collega, dan controleer je zoals je collega's controleert: steekproefsgewijs, op basis van eerder gebleken betrouwbaarheid, met navraag als correctiemiddel en vertrouwen als default. Zie je AI eerder als een instrument met een grillige, verschuivende meetkarakteristiek, dan controleer je zoals je een meting controleert: tegen een externe bron, herhaald, met de bronvermelding erbij vermeld. De tweede controle is niet strenger dan de eerste. Hij grijpt alleen aan op iets wat er werkelijk is.

De systemen worden intussen doelbewust ontworpen om te gaan functioneren als digitale collega, of, zie de YouTube hype, als je 'digital assistent'. Dat is voor een AI producent simpele productlogica, en het werkt uitstekend qua marketing maar duidelijk minder qua inhoud, tenzij je specifieke maatregelen neemt.
Het tegenwicht om te snel en te eenvoudig AI als digitale collega te gebruiken zal dus uit de opleiding moeten komen, liever nu dan nadat een generatie aios en stafleden de verkeerde reflex heeft ingeslepen.
Wat mij betreft is het dan ook geen interessante opleidingsvraag welke tool we toestaan. Het is welke metafoor we meegeven en leren om daarmee om te gaan. De tool is over een jaar vervangen; de metafoor zit er dan nog.

Vervolg op Lessen van een CAT (augustus 2026).

Bronnen

Online bronnen geraadpleegd op 22 augustus 2026.