Iemand stelt voor een AI-systeem op een vakprobleem te zetten. Voordat het draait, hoort er één vraag bij: hoe weet je straks of het goed was? Een testset die die vraag niet kan beantwoorden, levert een uitkomst op waar iedereen het over oneens kan blijven. Vul hieronder in hoe jouw set eruitziet. Je krijgt een oordeel, wat er nog knelt, en een toetsplan in drie regels.
1. De gevallen waarop je toetst
Bestaat er per geval een juist antwoord?Een uitkomst die in het lab, in de boekhouding of in de praktijk al is vastgesteld, los van het systeem.
Zitten er ook gevallen in die níet goed uitpakten?Kandidaten die afvielen, facturen die wél fout waren, voorstellen die het niet haalden.
Kan het systeem het antwoord al gezien hebben?Gepubliceerd vóór de trainingsdatum van het model, of meegegeven in de prompt of de bestanden.
2. Hoe je straks beoordeelt
Wanneer leg je vast wat telt als «goed»?Bijvoorbeeld: «het juiste antwoord staat in de top 3», of «de afwijking is kleiner dan 5%».
Weet je hoe de huidige werkwijze het op dezelfde gevallen doet?De mensen die het nu doen, een bestaand programma, of desnoods de kans bij gokken.
Hoeveel gevallen met een bekend antwoord heb je?
Vul de vragen in
Begin bij de eerste vraag: bestaat er per geval een juist antwoord?
Wat er daarnaast nog knelt
Toetsplan in drie regels, om in het voorstel te zetten
3. Wat zegt de score?
Na de run: hoeveel van de gevallen had het systeem goed, en wat haalt de huidige werkwijze? Bij een kleine set is de onzekerheid groter dan de meeste mensen denken.
0%50%100%
gemeten score95%-margehuidige werkwijze
–
Waarom deze vragen
Een bekend antwoord maakt het meetbaar. Zonder dat beoordeel je de uitkomst met dezelfde smaak die je wilde vervangen. Vaak is de eerlijkste zet de vraag te verschuiven: toets niet of het systeem vooraf het goede doel kiest, maar of het de uitkomsten herkent die jullie al gevonden hebben.
Een gelekt antwoord maakt elke score waardeloos. Een model dat de oplossing kent, scoort hoog zonder iets te kunnen.
Alleen successen laat de helft van de fouten weg. Je ziet dan wel of het goede ertussen zit, maar niet hoeveel fout het mee aanbeveelt.
Een criterium achteraf kiest zichzelf. Wie de uitkomsten al kent, kiest onbewust de maat waarop ze er goed uitzien.
Zonder vergelijking zegt 70% niets. Als de huidige werkwijze 75% haalt, is 70% een stap terug.
De marge in stap 3 is een Wilson-interval van 95%. Hij gaat ervan uit dat de gevallen los van elkaar staan; tien varianten van hetzelfde geval tellen in werkelijkheid als minder dan tien. Alles blijft in je browser.