Wint het nieuwe model?

Er verschijnt een nieuwe versie van het spraakmodel in je app, met een lager foutpercentage op de modelkaart. Overstappen is vaak één regel code. Deze rekenhulp legt de wissel langs vijf vragen: klopt de winst op jouw taal, is hij groter dan de meetruis, houdt hij stand in lawaai, past het model nog, en hoe lang duurt het voordat het klaarstaat?

Gemaakt voor ondertiteling op de telefoon, waar lawaai en een snelle start zwaarder wegen dan een benchmark in stilte. Twee ijkgevallen komen uit de FluidAudio-release van 24 september 2026, het derde uit v0.18.0 van 28 oktober.

Laad een ijkgeval of vul je eigen cijfers in
Waar komen de cijfers vandaan?
Woordfoutpercentage (WER) op je eigen taal
WER in lawaai
Omvang en klaarzetten
Vul de twee foutpercentages in. Zodra het huidige en het nieuwe percentage er staan, verschijnt hier een oordeel.

Waarom klaarzetten de harde poort is

Een spraakmodel op een iPhone moet bij de eerste start worden omgezet voor de Neural Engine. Dat gebeurt één keer, maar wie de app opent omdat er nú iemand tegen hem praat, wacht die keer wel. Een model dat beter verstaat maar minuten nodig heeft om klaar te staan, is voor ondertiteling in het moment geen verbetering.

Daarom valt een kandidaat in deze rekenhulp af zodra hij langer dan een minuut nodig heeft, of duidelijk langer dan het huidige model: anderhalf keer zo lang én meer dan tien seconden extra. Dat oordeel gaat vóór de kwaliteit. De richtlijn voor omvang is circa 600 MB; boven 1 GB valt een model af. Dat zijn de grenzen die Versta hanteert sinds een Whisper-model van 1,4 GB op een iPhone 17 Pro Max veel te lang deed over het klaarzetten.

Waarom een modelkaart niet genoeg is

Een eigen A/B-meting op dezelfde opnames, met dezelfde instellingen, is dus stap één. Pas als het nieuwe model daar wint, loont het om de klaarzet-tijd op het toestel te meten.

Hoe de meetruis is geschat

Een WER is een telling van fouten over een eindig aantal woorden, en die telling schommelt. De rekenhulp schat de standaardfout van het verschil uit beide percentages en het aantal woorden, alsof het twee losse tellingen zijn. Twee effecten werken daar tegen elkaar in: fouten binnen één zin hangen samen, wat de onzekerheid groter maakt, en beide modellen hoorden dezelfde opnames, wat hem kleiner maakt. Een verschil telt als echt als het meer dan twee keer die standaardfout is. Dat is een vuistregel, geen bootstrap per zin: ligt de uitkomst er dicht bij, meet dan op meer opnames. Ter indicatie: bij 6% fouten heb je circa 20.000 woorden nodig om een half procentpunt winst te zien.

De drie ijkgevallen

v3UltraReduxUnified
WER Nederlands (FLEURS)6,18%5,46%8,10%7,79%*
WER in ruis (MUSAN, 9 condities)6,72%5,82%––
Model op schijf~480 MB~630 MB220 MB~625 MB (int8)
Eerste keer klaarzetten–niet gepubliceerd320–1.585 s (Mac)niet gepubliceerd

Bronnen: FluidAudio v0.17.3 (24 sep 2026) en de modelkaart van moondream/parakeet-ultra. Redux scoort op Nederlands 1,92 punt slechter dan v3; de klaarzet-tijd is FluidAudio's eigen meting op een Mac, niet op een iPhone. Uitgewerkt in de STT-monitor van Versta van 1 okt 2026.

* Nemotron Unified 0.6B (NVIDIA) is gemeten op NVIDIA's eigen Nederlandse set, niet op FLEURS. Dat getal is dus niet te vergelijken met de andere drie, en het ijkgeval laat zien wat de rekenhulp ermee doet. Over 25 talen, wél in één meting, scoort Unified offline 9,49% tegen 10,55% voor v3. Het model is 625 MB in int8; fp16 is 1,2 GB en valt af. De Engelse int8-versie laadde op een A16-chip niet (FluidAudio-issue #828), dus of hij op een iPhone draait moet eerst blijken. Bronnen: FluidAudio v0.18.0 (28 okt 2026) en de modelkaart van nvidia/nemotron-labs-unified-asr-0.6b.

Meer over Versta: Versta-cockpit.