Jev vs. Clef: Welches Entscheidungsmodell passt zu Ihrem Workload?

Screenshots, Produktfotos oder gescannte Formulare: Clef. Classmethod gibt an, dass es bis zu vier PNG-, JPEG- oder WebP-Bilder pro Anfrage akzeptiert, jeweils bis zu 4 MiB, und keine Remote-URLs. Jev akzeptiert nur Text und JSON, daher bräuchten Sie zuerst einen Schritt zur Bildbeschreibung.

Kurztexte bei hohem Volumen: Clef Flash. Bei $0.038 pro Million Tokens ist es die günstigere gehostete Option pro Token. Sein 24,576-Token-Fenster ist die Grenze, die zu prüfen ist.

Langtexte: Jev. Eine Fallakte mit 100,000 Token passt in Jevs Fenster bei $0.0042 pro Entscheidung. Sie passt in kein Clef-Modell.

Auf OpenRouter ist Clefs Rate das 4.57-fache von Jevs ($0.192 ÷ $0.042). Die Modelle verwenden unterschiedliche Tokenizer, sodass derselbe Kommentar bei jedem als unterschiedliche Anzahl von Token zählen kann. Das Verhältnis pro Anfrage kann vom Preislisten-Verhältnis in beide Richtungen abweichen.

Zwei Artikel versuchten, es zu messen, und zwar zum Clef-Preis von Workers AI von Anfang Oktober statt zu dem von OpenRouter. Better Stack schrieb, dass Jev basierend auf der durchschnittlichen Kommentarlänge 6.5x günstiger pro Kommentar war als Standard-Clef. Der Autor des DEV-Community-Beitrags schätzte etwa 4x pro Entscheidung, nachdem er Token gezählt hatte. Betrachten Sie 4x bis 6.5x als Spanne und zählen Sie Ihre eigenen Token.

Ein Autor der DEV Community führte 117 gekennzeichnete Fälle aus fünf Produktionsentscheidungen durch, drei Aufrufe pro Fall. Bei für Jev festgelegten Schwellenwerten erzielte Clef 92.3%, Jev 88.6% und Clef Flash 82.1%. Mit einem für jedes Modell eigenen, auf zurückgehaltenen Fällen gewählten Schwellenwert lagen die Werte bei 93.2%, 90.9% und 90.6%. Der Autor berichtet, dass Clefs Vorsprung von 3.7 Punkten ein 95%-Konfidenzintervall von -1.1 bis +8.8 Punkten hatte, was nicht signifikant ist.

Der Vergleich von Better Stack ergab das Gegenteil: Jev stimmte in 86% der Fälle mit seinem Referenzmodell überein und Clef in 83%, wobei Clef bei drei von fünf Fragen vorn lag. Keiner der Tests ist umfangreich. Zusammen sagen sie, dass die beiden Modelle nahe beieinanderliegen und Ihre Fragen den Sieger bestimmen.

Cloudflares eigener Lauf des Jev Decision Index meldet eine mediane modellseitige Latenz von 209.3 ms für Clef, 38.8 ms für Clef Flash und 524.1 ms für Jev. Developers Digest kennzeichnet diese Zahlen als vom Anbieter durchgeführt, und wir auch.

Die Zahlen auf Client-Seite weisen in die andere Richtung. Der Autor von Classmethod maß fünf Läufe von seiner eigenen Maschine: Jev 0.238 s, Clef Flash 0.294 s und Clef 0.478 s, und sagt, das sei zu wenig, um belastbar zu sein. Better Stack stellte fest, dass Jev Ergebnisse fast doppelt so schnell lieferte wie Clef. Wenn Latenz wichtig ist, messen Sie die Aufrufe aus Ihrer eigenen Region.

Der Test der DEV Community sandte jeden Fall dreimal. Clef lieferte bei allen 351 Aufrufen dieselbe Wahrscheinlichkeit auf vier Dezimalstellen genau. Jevs Wahrscheinlichkeiten schwankten zwischen identischen Aufrufen um bis zu 0.10.

Das ist wichtig, wenn Ihr Code bei einem Grenzwert wie 0.80 aktiv wird. Bei einer Schwankung von 0.10 kann ein Fall nahe der Linie am Montag so und am Dienstag anders ausfallen. Verwenden Sie bei Jev einen Bereich um den Schwellenwert, der an ein stärkeres Modell oder einen Menschen weiterleitet.

Classmethod berichtet, dass Clefs API mit der von Jev kompatibel ist: Ändern Sie Endpoint, Schlüssel und Modellnamen. Bei der REST-API von Workers AI verpackt die Antwort die Ergebnisse in ein result-Feld, daher muss Jev-Code dort leicht angepasst werden. Über OpenRouter verwenden beide denselben Schlüssel.

Clefs Gewichte sind unter Apache 2.0 auf Hugging Face verfügbar, und Classmethod merkt an, dass Sie sie auf Ihrer eigenen GPU ausführen können. Developers Digest ergänzt, dass die Trainingsdaten und die Pipeline nicht veröffentlicht sind. Jev hat keine herunterladbaren Gewichte. Wenn es Ihnen später wichtig ist, einen gehosteten Anbieter zu verlassen, spricht das für Clef.

Bei einem 500-Token-Zustand beträgt die monatliche Rechnung jedes Modells: Entscheidungen × 500 Token × sein Preis. Bei 100,000 Entscheidungen pro Monat: Clef Flash $1.90, Jev $2.10, Clef $9.60. Bei 1 Million: $19, $21 und $96. Bei 10 Millionen: $190, $210 und $960. Bei 50 Millionen: $950, $1,050 und $4,800.

Unter einer Million Entscheidungen pro Monat ist der Unterschied zwischen Jev und beiden Clef-Varianten zu klein, um die Wahl zu bestimmen. Bei 10 Millionen sind es $750 pro Monat zwischen Jev und Standard-Clef, also $9,000 pro Jahr. Dann sollten Sie prüfen, ob Clefs Vorsprung in einem kleinen Test das wert ist. Diese Summen gehen davon aus, dass beide Modelle Ihren Text als dieselbe Anzahl von Token zählen. Das müssen sie nicht, wie der Abschnitt zum Tokenizer erklärt.

Zuerst die Schwellenwerte. Ein auf Jevs Wahrscheinlichkeiten abgestimmter Grenzwert lässt sich nicht auf Clef übertragen, weil die beiden Modelle ihre Wahrscheinlichkeiten unterschiedlich verteilen. Der Test der DEV Community zeigt, wie sehr der Schwellenwert ins Gewicht fällt: Clef Flash erzielte bei Jevs Schwellenwerten 82.1% und bei seinen eigenen 90.6%.

Prüfen Sie dann, was jede Entscheidungsstelle sendet. Ein Zustand über 24,576 Token kann nicht an Clef Flash gehen. Ein Zustand über 65,537 Token kann nicht an Clef gehen. Eine Entscheidung mit Bildern kann nicht bei Jev bleiben.