아키텍처 비용 검토
Jev vs GPT-5.4 Nano for Labels: 100만 개당 어느 것이 더 저렴한가?
Jev의 입력 요금은 토큰 100만 개당 $0.042로, 여기에 가격이 책정된 모든 작은 LLM의 배치 입력 요금보다도 낮습니다. 결정은 LLM이 추가 비용에 대해 제공하는 것에 달려 있습니다.
직접 답변
단순 레이블의 경우, Jev는 우리가 가격을 책정한 모든 항목 크기에서 더 저렴합니다. 500토큰의 경우 100만 개 항목당 $21인 반면, GPT-5.4 nano는 $125, Claude Haiku 5.5 또는 GPT-6 Luna는 $60입니다. 배치 Luna도 $30입니다. LLM을 선택하는 경우는 이유나 여러 필드가 필요할 때, 또는 테스트 결과 77개 카테고리 테스트에서 발견된 정확도 차이(Jev 79.0% 대 두 OpenAI 모델의 83.9% 및 86.2%)가 나타날 때입니다.
의사 결정 요약
| 결정 영역 | 중요한 점 |
|---|---|
| 300-token item | Jev $12.60 · Haiku 5.5 / Luna $40 (배치 $20) · nano $85 (배치 $42.50) |
| 500-token item | Jev $21 · Haiku 5.5 / Luna $60 (배치 $30) · nano $125 (배치 $62.50) |
| 2,000토큰 항목 | Jev $84 · Haiku 5.5 / Luna $210 (배치 $105) · nano $425 (배치 $212.50) |
| 요금 (OpenRouter, 3 Nov 2026) | Jev $0.042 in / $0 out · Haiku 5.5 및 Luna $0.10 / $0.50 · nano $0.20 / $1.25 · 배치는 각각 절반 |
| Context | Jev 262,144 · nano 400,000 · Haiku 5.5 1,000,000 · Luna 1,050,000 |
| Output | Jev: 선택지와 확률 · LLM: 요청하는 모든 텍스트 |
세 가지 항목 크기에서의 계산
각 LLM 행은 백만 개 항목당 입력 토큰 × 입력 요율에 20토큰 레이블 × 출력 요율을 더한 값입니다. 20토큰 레이블 100만 개는 출력 토큰 2,000만 개입니다. 이는 nano에서 $25($1.25 × 20), Haiku 5.5 또는 Luna에서 $10($0.50 × 20)이 듭니다. Jev의 답변은 비용이 들지 않습니다.
300토큰일 때: Jev 300 × $0.042 = $12.60. Haiku 5.5 또는 Luna $30 + $10 = $40. Nano $60 + $25 = $85. 500토큰일 때: Jev $21, Haiku 또는 Luna $50 + $10 = $60, nano $100 + $25 = $125. 2,000토큰일 때: Jev $84, Haiku 또는 Luna $200 + $10 = $210, nano $400 + $25 = $425.
배치는 두 LLM 요율을 모두 절반으로 줄입니다. 그러면 세 가지 크기에서 Haiku 5.5 또는 Luna는 $20, $30, $105가 되고, nano는 $42.50, $62.50, $212.50이 됩니다. Jev는 입력 요율 $0.042가 가장 저렴한 LLM의 배치 입력 $0.05보다 낮기 때문에 모든 크기에서 여전히 더 낮습니다.
OpenTweet의 2x 수치가 여기서 의미하는 바
OpenTweet의 계산 페이지는 레이블만 기준으로 GPT-5 nano를 Jev 비용의 약 두 배로 제시했습니다. 11월 3일 정가와 우리의 500토큰 가정 기준으로, GPT-5.4 nano는 Jev의 거의 6배($125 ÷ $21 = 5.95)로 나옵니다. 우리는 그들의 토큰 또는 가격 가정을 맞춰 보지 않았습니다. 어느 쪽이든 요점은 유효합니다: 토큰 가격만 보면 결정 모델이 더 저렴합니다.
소형 LLM이 더 높은 비용을 정당화하는 경우
사용자가 읽을 이유. Jev는 문장이 아니라 선택지와 확률을 반환합니다. 지원 상담원이 "Billing, 고객이 이중 청구를 언급했기 때문"이라는 답변을 필요로 한다면, LLM은 한 번의 호출로 처리합니다.
여러 필드를 한 번에. 메시지에서 주문 번호, 날짜, 제품명을 뽑아내는 것은 선택이 아니라 추출입니다. 500토큰 항목에서 150토큰 JSON 객체를 Haiku 5.5에 요청하면 100만 항목당 $50 + $75 = $125가 듭니다. Jev는 어떤 가격에서도 자유 텍스트 필드를 반환할 수 없습니다.
이미 스택에 있습니다. 이미 수행하는 호출에 레이블이 함께 실리면 한계 비용은 추가 출력 20토큰이며, Luna에서는 100만 항목당 $10입니다. $21의 별도 Jev 호출은 그보다 비쌉니다.
정확도, 그리고 잘못된 레이블의 가치
Kai Waehner는 독립적인 77개 카테고리 의도 테스트에서 Jev가 79.0%, 이름이 밝혀지지 않은 두 OpenAI 모델이 83.9%와 86.2%를 기록했다고 인용하며 그 격차를 유의미하다고 말합니다. 그 글은 표본 크기를 제시하지 않습니다. 77개 중 하나를 고르는 것은 어떤 소형 모델에게도 어려우므로, 이는 LLM이 가장 이길 가능성이 높은 사례입니다.
자체 테스트에서 4.9포인트 격차(79.0% 대 83.9%)가 나온다면, 이는 백만 개당 잘못된 레이블이 49,000개 더 많다는 뜻입니다. Haiku 5.5는 500토큰 항목 백만 개당 Jev보다 $39 더 듭니다($60 − $21). $39 ÷ 49,000은 약 $0.0008입니다. 잘못된 레이블 하나를 고치는 비용이 그보다 크다면, 더 비싼 모델이 본전을 뽑습니다. nano의 경우 수치는 $104 ÷ 49,000으로 약 $0.002입니다.
- 잘못된 레이블로 사람이 30초를 잃는다면: 더 정확한 모델을 사용하세요
- 잘못된 레이블이 티켓을 두 번째로 좋은 큐로 보낼 뿐이라면: Jev의 가격이 이길 가능성이 높습니다
- 확실하지 않다면: Jev의 낮은 확률 답변은 LLM으로 보내고 나머지는 유지하세요
둘 다 사용하는 분할
가장 저렴한 구성은 종종 캐스케이드입니다. Jev가 모든 항목에 레이블을 지정하고, 확률 컷오프 미만인 항목은 Haiku 5.5로 갑니다. 500토큰 크기에서 항목의 15%가 컷오프 미만이면 100만 항목당 청구액은 Jev의 $21에 LLM의 $9($60의 15%)를 더한 $30입니다.
이는 Jev만 쓸 때보다 $9 더 들고, Haiku 5.5만 쓸 때보다 $30 덜 듭니다. LLM은 어려운 사례만 봅니다. 컷오프는 첫 주의 직감이 아니라 레이블이 지정된 표본에서 설정하세요.
월 1,000만 개 기준 1년치 레이블
월 1,000만 개 레이블에 맞춰 500토큰 수치를 10배로 늘리세요. Jev는 월 $210, 연 $2,520입니다. Claude Haiku 5.5 또는 GPT-6 Luna는 월 $600, 연 $7,200이며 배치에서는 월 $300입니다. GPT-5.4 nano는 월 $1,250, 연 $15,000이며 배치에서는 월 $625입니다.
따라서 해당 규모에서 nano에서 Jev로 옮기면 연 $12,480, Haiku 5.5에서 옮기면 $4,680을 절약합니다. 이동하기 전에 정확도 섹션에서 나온 추가 잘못된 레이블 비용과 이를 견주어 보세요.
코드에서 달라지는 점
LLM에서는 레이블 세트가 프롬프트에 있고 파서가 응답을 읽습니다. Jev에서는 레이블 세트가 타입이 지정된 질문의 옵션 목록이 되고, 답변은 옵션별 확률이 붙은 선택지로 도착합니다. 파서와 잘못된 형식일 때 재시도하는 분기는 사라집니다.
Jev는 나열한 옵션에서만 고를 수 있습니다. LLM이 때때로 "none of these"라고 답한다면 그것을 옵션으로 추가하고, 그렇지 않으면 해당 사례들은 가장 가까운 레이블로 강제됩니다. 그런 다음 레이블이 지정된 세트를 다시 실행하고 각 오답의 확률을 읽으세요. 그러면 사례를 LLM으로 보낼 컷오프를 어디에 설정해야 하는지 알 수 있습니다.
주요 시사점
- →단순 라벨의 경우, 우리가 가격을 조사한 모든 항목 크기에서 Jev가 더 저렴합니다. 500 토큰 기준으로 Jev는 항목 100만 개당 $21인 반면, GPT-5.4 nano는 $125, Claude Haiku 5.5 또는 GPT-6 Luna는 $60입니다. 배치(batch) Luna도 $30입니다. 이유나 여러 필드가 필요할 때, 또는 77개 카테고리 테스트에서 발견된 정확도 차이(두 OpenAI 모델 대비 Jev 79.0% vs 83.9% 및 86.2%)가 자신의 테스트에서도 나타날 때는 LLM을 선택하세요.
- →라벨이 하나만 필요하고 잘못된 라벨의 비용이 1센트의 약 10분의 1 미만이라면 Jev로 전환하세요. 그렇지 않으면 라벨링된 데이터셋에서 두 모델을 모두 실행하고 추가 오류 비용을 계산하세요.
- →77개 카테고리 테스트는 OpenAI 모델 이름이나 샘플 크기를 명시하지 않았으므로, 그 차이는 nano에 대한 측정된 사실이 아니라 테스트해야 할 이유로 간주하세요.
What users report
Users split on whether a decision model beats a cheap small LLM: Jev wins on latency, but some find small LLMs accurate and cheap enough when speed doesn't matter.
Paraphrased from public posts, with the date and a link to each original. These are other people's accounts, not our tests, and we have not verified each one.
One user reported that Nano was unreliable on open-ended tasks but cheaper than larger models when the task was explicit and output rigidly structured, and usually faster.
Value · GPT-5.4 Nano · Hacker News, Sep 2026
A side-project developer said sorting a list into about 20 categories took 30-60 seconds on DeepSeek V4 Flash, while Jev did it in under a second at the same cost.
Switching · Jev · Hacker News, Sep 2026
A developer replaced a 5.6 Luna ranking sub-agent with Jev to filter retrieval results, reporting 5-10 seconds saved per round, no precision loss, and a slightly lower bill.
Switching · Jev · Hacker News, Oct 2026
One user said Luna still beat Jev on accuracy for their product; latency didn't matter to them and extra Luna tokens cost a negligible amount.
Quality · Jev · Hacker News, Oct 2026
A machine learning engineer said plain LLMs had already been cheap and serviceable zero-shot classifiers, so the excitement around Jev frustrated them.
Value · Decision models · Hacker News, Oct 2026
이 페이지의 준비 방법
이 페이지의 가격은 2026년 11월 3일에 읽은 OpenRouter의 실시간 모델 API에서 가져온 것입니다. 결정당 비용은 state 토큰 수에 입력 요율을 곱한 값입니다. 나열된 모든 결정 모델에서 출력이 무료이기 때문입니다. 소형 LLM 비용에는 해당 모델의 출력 요율로 라벨 길이에 해당하는 비용이 추가됩니다. OpenRouter의 크레딧 수수료는 중요한 경우 별도로 표시됩니다. 이 페이지를 위해 자체 벤치마크를 실행하지 않았습니다. 정확도 및 지연 시간 수치는 이를 측정한 공급업체 또는 제3자에 귀속되며, 공급업체 수치는 공급업체 주장으로 표시됩니다.
자주 묻는 질문
Jev가 GPT-5 nano보다 저렴한가요?
네, 단일 라벨의 경우 그렇습니다. 500토큰 항목에 20토큰 라벨 기준으로 GPT-5.4 nano는 항목 100만 개당 $125, Jev는 $21입니다. 배치(batch) nano는 $62.50입니다.
Claude Haiku 5.5가 Jev보다 저렴한가요?
아니요. Haiku 5.5는 입력 토큰 100만 개당 $0.10, 출력 토큰 100만 개당 $0.50이므로 500토큰 라벨 100만 개당 $60, 배치(batch) 기준 $30입니다. Jev는 $21입니다.
Jev는 소형 LLM만큼 정확한가요?
항상 그렇지는 않습니다. 한 독립적인 77개 카테고리 테스트에서 Jev는 79.0%를 기록한 반면, 두 OpenAI 모델은 각각 83.9%와 86.2%를 기록했습니다. 더 적고 명확한 옵션에서는 그 차이가 사라질 수 있습니다. 자신의 사례에서 테스트해 보세요.
Jev가 선택한 라벨의 이유를 알려줄 수 있나요?
아니요. 선택지와 확률만 반환합니다. 누군가 읽을 때만 LLM에 이유를 요청하세요.
배치(batch) 가격이 답을 바꾸는 때는 언제인가요?
배치는 LLM 비용을 절반으로 줄이지만, 우리가 가격을 조사한 모든 크기에서 여전히 Jev보다 비쌉니다. Haiku 5.5와 Luna의 배치 입력은 100만 개당 $0.05인 반면, Jev는 $0.042이기 때문입니다. 또한 배치는 결과를 기다려야 한다는 뜻이기도 합니다.
nano에서 Jev로 라벨을 옮기면 1년에 얼마를 절약할 수 있나요?
월 1,000만 개의 500토큰 라벨 기준으로 nano는 연간 $15,000, Jev는 $2,520가 들므로 $12,480을 절약합니다. 배치(batch) nano 기준으로는 $7,500 - $2,520 = $4,980을 절약합니다.