Kun je het resultaat nagaan?

Iemand stelt voor een AI-systeem op een vakprobleem te zetten. Voordat het draait, hoort er één vraag bij: hoe weet je straks of het goed was? Een testset die die vraag niet kan beantwoorden, levert een uitkomst op waar iedereen het over oneens kan blijven. Vul hieronder in hoe jouw set eruitziet. Je krijgt een oordeel, wat er nog knelt, en een toetsplan in drie regels.

1. De gevallen waarop je toetst

Bestaat er per geval een juist antwoord? Een uitkomst die in het lab, in de boekhouding of in de praktijk al is vastgesteld, los van het systeem.
Zitten er ook gevallen in die níet goed uitpakten? Kandidaten die afvielen, facturen die wél fout waren, voorstellen die het niet haalden.
Kan het systeem het antwoord al gezien hebben? Gepubliceerd vóór de trainingsdatum van het model, of meegegeven in de prompt of de bestanden.

2. Hoe je straks beoordeelt

Wanneer leg je vast wat telt als «goed»? Bijvoorbeeld: «het juiste antwoord staat in de top 3», of «de afwijking is kleiner dan 5%».
Weet je hoe de huidige werkwijze het op dezelfde gevallen doet? De mensen die het nu doen, een bestaand programma, of desnoods de kans bij gokken.
Hoeveel gevallen met een bekend antwoord heb je?
Vul de vragen in

Begin bij de eerste vraag: bestaat er per geval een juist antwoord?

3. Wat zegt de score?

Na de run: hoeveel van de gevallen had het systeem goed, en wat haalt de huidige werkwijze? Bij een kleine set is de onzekerheid groter dan de meeste mensen denken.

0%50%100%
gemeten score95%-margehuidige werkwijze
–

Waarom deze vragen

De marge in stap 3 is een Wilson-interval van 95%. Hij gaat ervan uit dat de gevallen los van elkaar staan; tien varianten van hetzelfde geval tellen in werkelijkheid als minder dan tien. Alles blijft in je browser.