Jev vs Clef : quel modèle de décision convient à votre charge de travail ?

Captures d’écran, photos de produits ou formulaires numérisés dans l’état : Clef. Classmethod indique qu’il accepte jusqu’à quatre images PNG, JPEG ou WebP par requête, chacune jusqu’à 4 MiB, et aucune URL distante. Jev n’accepte que du texte et du JSON, vous auriez donc d’abord besoin d’une étape de légendage.

États textuels courts à fort volume : Clef Flash. À $0.038 par million de tokens, c’est l’option hébergée la moins chère par token. Sa fenêtre de 24,576 tokens est la limite à vérifier.

États textuels longs : Jev. Un dossier de 100,000 tokens tient dans la fenêtre de Jev à $0.0042 par décision. Il ne tient dans aucun modèle Clef.

Sur OpenRouter, le tarif de Clef est 4.57 fois celui de Jev ($0.192 ÷ $0.042). Les modèles utilisent des tokeniseurs différents, donc un même commentaire peut compter comme un nombre différent de tokens sur chacun. Le ratio par requête peut différer du ratio de la grille tarifaire dans un sens comme dans l’autre.

Deux articles ont tenté de le mesurer, au prix de Clef de début octobre chez Workers AI plutôt qu’à celui d’OpenRouter. Better Stack a écrit que, d’après la longueur moyenne des commentaires, Jev était 6.5x moins cher par commentaire que Clef standard. L’auteur de DEV Community a estimé environ 4x par décision après avoir compté les tokens. Considérez 4x à 6.5x comme la fourchette, et comptez vos propres tokens.

Un auteur de DEV Community a exécuté 117 cas étiquetés issus de cinq décisions de production, trois appels chacun. Avec des seuils définis pour Jev, Clef a obtenu 92.3%, Jev 88.6% et Clef Flash 82.1%. Avec le seuil propre à chaque modèle choisi sur des cas de validation, les scores étaient de 93.2%, 90.9% et 90.6%. L'auteur rapporte que l'avance de 3.7 points de Clef avait un intervalle de 95% de -1.1 à +8.8 points, ce qui n'est pas significatif.

La comparaison de Better Stack a trouvé l'inverse : Jev correspondait à sa référence 86% du temps et Clef 83%, Clef étant en tête sur trois des cinq questions. Aucun des deux tests n'est de grande envergure. Ensemble, ils indiquent que les deux modèles sont proches, et ce sont vos questions qui décident du gagnant.

La propre exécution de Cloudflare du Jev Decision Index rapporte une latence médiane côté modèle de 209.3 ms pour Clef, 38.8 ms pour Clef Flash et 524.1 ms pour Jev. Developers Digest qualifie ces chiffres de fournis par le fournisseur, et nous aussi.

Les chiffres côté client vont dans l'autre sens. L'auteur de Classmethod a chronométré cinq exécutions depuis leur propre machine : Jev 0.238 s, Clef Flash 0.294 s et Clef 0.478 s, et dit que c'est trop peu pour être concluant. Better Stack a constaté que Jev renvoyait les résultats presque deux fois plus vite que Clef. Si la latence compte, chronométrez les appels depuis votre propre région.

Le test de DEV Community a envoyé chaque cas trois fois. Clef a renvoyé la même probabilité, à quatre décimales près, sur les 351 appels. Les probabilités de Jev variaient entre des appels identiques jusqu'à 0.10.

Cela compte si votre code agit à un seuil tel que 0.80. Avec une variation de 0.10, un cas proche de la limite peut aller dans un sens lundi et dans l'autre mardi. Avec Jev, gardez une bande autour du seuil qui renvoie à un modèle plus fort ou à une personne.

Classmethod rapporte que l'API de Clef est compatible avec celle de Jev : modifiez le point d'accès, la clé et le nom du modèle. Sur l'API REST de Workers AI, la réponse encapsule les résultats dans un champ result, donc le code Jev nécessite un petit changement là. Via OpenRouter, les deux se trouvent derrière la même clé.

Les poids de Clef sont sur Hugging Face sous Apache 2.0, et Classmethod note que vous pouvez les exécuter sur votre propre GPU. Developers Digest ajoute que les données d'entraînement et le pipeline ne sont pas publiés. Jev n'a pas de poids à télécharger. Si le fait de quitter un fournisseur hébergé plus tard compte pour vous, cela favorise Clef.

Avec un état de 500 jetons, la facture mensuelle de chaque modèle est décisions × 500 jetons × son tarif. À 100,000 décisions par mois : Clef Flash $1.90, Jev $2.10, Clef $9.60. À 1 million : $19, $21 et $96. À 10 millions : $190, $210 et $960. À 50 millions : $950, $1,050 et $4,800.

En dessous d'un million de décisions par mois, l'écart entre Jev et l'un ou l'autre Clef est trop faible pour guider le choix. À 10 millions, c'est $750 par mois entre Jev et Clef standard, ou $9,000 par an. À ce stade, vérifiez si l'avance de Clef sur un petit test en vaut la peine. Ces sommes supposent que les deux modèles comptent votre texte comme le même nombre de jetons. Ce n'est peut-être pas le cas, comme l'explique la section sur le tokeniseur.

Les seuils viennent en premier. Un seuil ajusté sur les probabilités de Jev ne se transposera pas à Clef, car les deux modèles répartissent leurs probabilités différemment. Le test de DEV Community montre à quel point le seuil compte : Clef Flash a obtenu 82.1% avec les seuils de Jev et 90.6% avec les siens.

Ensuite, vérifiez ce que chaque point de décision envoie. Tout état de plus de 24,576 jetons ne peut pas aller à Clef Flash. Tout état de plus de 65,537 jetons ne peut pas aller à Clef. Toute décision avec des images ne peut pas rester sur Jev.