Jev vs Clef: welk beslissingsmodel past bij jouw workload?

Screenshots, productfoto's of gescande formulieren in de state: Clef. Classmethod meldt dat het tot vier PNG-, JPEG- of WebP-afbeeldingen per verzoek accepteert, elk tot 4 MiB, en geen externe URL's. Jev accepteert alleen tekst en JSON, dus je hebt eerst een stap nodig om afbeeldingen te beschrijven.

Korte tekststates bij hoog volume: Clef Flash. Met $0.038 per miljoen tokens is het de goedkopere gehoste optie per token. Het venster van 24,576 tokens is de limiet om te controleren.

Lange tekststates: Jev. Een dossier van 100,000 tokens past in het venster van Jev voor $0.0042 per beslissing. Het past in geen enkel Clef-model.

Op OpenRouter is het tarief van Clef 4.57 keer dat van Jev ($0.192 ÷ $0.042). De modellen gebruiken verschillende tokenizers, dus dezelfde opmerking kan bij elk model als een ander aantal tokens tellen. De verhouding per verzoek kan in beide richtingen afwijken van de verhouding op de tariefkaart.

Twee artikelen probeerden het te meten, tegen de Clef-prijs van Workers AI van begin oktober in plaats van die van OpenRouter. Better Stack schreef dat Jev, op basis van de gemiddelde lengte van opmerkingen, 6.5x goedkoper per opmerking was dan standaard Clef. De auteur van DEV Community schatte na het tellen van tokens ongeveer 4x per beslissing. Beschouw 4x tot 6.5x als de bandbreedte, en tel je eigen tokens.

Een auteur van DEV Community voerde 117 gelabelde cases uit vijf productiebeslissingen uit, met drie aanroepen per case. Bij drempels ingesteld voor Jev scoorde Clef 92.3%, Jev 88.6% en Clef Flash 82.1%. Met de eigen drempel van elk model, gekozen op achtergehouden cases, waren de scores 93.2%, 90.9% en 90.6%. De auteur meldt dat de voorsprong van Clef van 3.7 punten een 95%-interval had van -1.1 tot +8.8 punten, wat niet significant is.

De vergelijking van Better Stack vond het omgekeerde: Jev kwam 86% van de tijd overeen met zijn referentie en Clef 83%, waarbij Clef voorlag op drie van de vijf vragen. Geen van beide tests is groot. Samen zeggen ze dat de twee modellen dicht bij elkaar liggen, en jouw vragen bepalen de winnaar.

Cloudflare's eigen run van de Jev Decision Index meldt een mediane latentie aan modelzijde van 209.3 ms voor Clef, 38.8 ms voor Clef Flash en 524.1 ms voor Jev. Developers Digest labelt deze cijfers als afkomstig uit leveranciersruns, en wij ook.

Cijfers aan clientzijde wijzen de andere kant op. De auteur van Classmethod heeft vijf runs vanaf de eigen machine getimed: Jev 0.238 s, Clef Flash 0.294 s en Clef 0.478 s, en zegt dat dat te weinig is om betrouwbaar te zijn. Better Stack vond dat Jev resultaten bijna twee keer zo snel teruggaf als Clef. Als latentie belangrijk is, meet dan de tijd van aanroepen vanuit je eigen regio.

De DEV Community-test stuurde elke case drie keer. Clef gaf op alle 351 aanroepen dezelfde waarschijnlijkheid terug, tot vier decimalen nauwkeurig. De waarschijnlijkheden van Jev verschilden tussen identieke aanroepen met maximaal 0.10.

Dat is belangrijk als je code reageert op een cutoff zoals 0.80. Met een schommeling van 0.10 kan een case dicht bij de grens op maandag de ene kant op gaan en op dinsdag de andere. Houd bij Jev een band rond de drempel aan die naar een sterker model of een persoon gaat.

Classmethod meldt dat de API van Clef compatibel is met die van Jev: wijzig het endpoint, de key en de modelnaam. Op de REST API van Workers AI verpakt de response resultaten in een result-veld, dus Jev-code heeft daar een kleine wijziging nodig. Via OpenRouter zitten beide achter dezelfde key.

De weights van Clef staan op Hugging Face onder Apache 2.0, en Classmethod merkt op dat je ze op je eigen GPU kunt draaien. Developers Digest voegt toe dat de trainingsdata en pipeline niet gepubliceerd zijn. Jev heeft geen weights om te downloaden. Als later weggaan bij een gehoste leverancier voor jou belangrijk is, pleit dat voor Clef.

Bij een state van 500 tokens is de maandelijkse rekening per model beslissingen × 500 tokens × het tarief. Bij 100,000 beslissingen per maand: Clef Flash $1.90, Jev $2.10, Clef $9.60. Bij 1 miljoen: $19, $21 en $96. Bij 10 miljoen: $190, $210 en $960. Bij 50 miljoen: $950, $1,050 en $4,800.

Onder een miljoen beslissingen per maand is het verschil tussen Jev en beide Clef-modellen te klein om de keuze te bepalen. Bij 10 miljoen is het $750 per maand tussen Jev en standaard Clef, of $9,000 per jaar. Op dat punt moet je nagaan of de voorsprong van Clef in één kleine test dat waard is. Deze bedragen gaan ervan uit dat beide modellen je tekst als hetzelfde aantal tokens tellen. Dat is misschien niet zo, zoals de tokenizer-sectie uitlegt.

Drempels komen eerst. Een cutoff die is afgestemd op de waarschijnlijkheden van Jev, werkt niet zomaar voor Clef, omdat de twee modellen hun waarschijnlijkheden anders verdelen. De DEV Community-test laat zien hoeveel de drempel uitmaakt: Clef Flash scoorde 82.1% bij de drempels van Jev en 90.6% bij zijn eigen drempels.

Controleer dan wat elk beslissingspunt verstuurt. Elke state boven 24,576 tokens kan niet naar Clef Flash. Elke state boven 65,537 tokens kan niet naar Clef. Elke beslissing met afbeeldingen kan niet op Jev blijven.