AI 에이전트를 위한 프롬프트 캐싱 비용: Anthropic, OpenAI, Gemini

Claude Sonnet 5에서 12단계 에이전트 실행은 캐싱 없이 약 $0.39, 캐싱 시 약 $0.14입니다. GPT-5.4에서는 동일한 실행이 캐싱 없이 약 $0.50, 캐싱 시 약 $0.17입니다. 이유는 간단합니다. 에이전트는 매 단계마다 전체 컨텍스트를 다시 보내며, 캐시된 입력 읽기는 Anthropic 및 OpenAI에서 목록 입력 요율의 약 10%, Gemini에서는 약 25%로 청구됩니다. 캐싱은 출력 토큰에는 영향을 미치지 않습니다.

이 수치는 현실적인 추적을 사용합니다: 4,000 토큰 접두사 (시스템 프롬프트 및 도구 정의), 500 토큰 작업, 각 단계에서 300 토큰 도구 호출을 반환하고 1,500 토큰 도구 결과를 받는 12단계입니다. 전체 계산은 아래에 있습니다.

도구 호출 루프의 모든 단계는 지금까지의 전체 대화(시스템 프롬프트, 모든 도구 스키마, 작업, 이전의 모든 도구 호출 및 모든 도구 결과)를 보냅니다. 1단계는 4,500 토큰을 보냅니다. 12단계는 4,500 + 11 × 1,800 = 24,300 토큰을 보냅니다. 12단계를 모두 더하면 모델은 4,800 출력 토큰을 생성하기 위해 172,800 입력 토큰을 읽었습니다.

그 172,800의 거의 대부분은 반복되는 텍스트입니다. 접두사는 모든 호출에서 동일하며 대화는 끝부분에서만 늘어납니다. 이것이 바로 접두사 캐시가 만들어진 형태이며, 에이전트를 비싸게 만드는 단계별 재전송이 캐싱을 매우 효과적으로 만드는 이유이기도 합니다. 에이전트 비용의 일반적인 형태는 [how much an AI agent costs to run](/guides/how-much-does-an-ai-agent-cost-to-run)에서 다루며, 이 글은 캐시에만 초점을 맞춥니다.

Anthropic은 요청을 도구, 시스템, 메시지 순서로 렌더링하며, 캐시는 엄격한 접두사 일치입니다. 중단점은 그 앞의 모든 것을 캐시하므로, 마지막 도구 정의에 하나, 시스템 프롬프트에 하나를 설정하면 안정적인 부분이 포함됩니다. 최신 사용자 메시지에 세 번째를 추가하면 각 단계에서 이전 대화도 캐시에서 읽습니다. Anthropic의 최소 캐시 가능 접두사는 모델에 따라 다르며(약 1,000토큰 이상), 짧은 프롬프트는 자동으로 캐시되지 않습니다. 각 공급업체별 세부 사항은 [Claude agent API cost](/guides/claude-agent-api-cost), [OpenAI Agents API cost](/guides/openai-agents-api-cost) 및 [Gemini agent API cost](/guides/gemini-agent-api-cost)에서 확인하세요.

실행 중 절대 변하지 않는 것들을 앞에 고정된 순서로 배치하세요:

• 날짜, 사용자 이름, 실행 ID가 없는 시스템 프롬프트
• 결정론적으로 정렬되고 실행 중간에 추가되지 않는 도구 정의
• 에이전트가 매 단계마다 참조하는 검색된 문서, 스타일 가이드 또는 스키마
• 퓨샷 예제

변하는 모든 것은 마지막 중단점 뒤에 배치하세요: 작업, 사용자의 질문, 요청별 메타데이터. Anthropic에서 컨텍스트에 타임스탬프나 실행 ID를 포함하려면 시스템 프롬프트 대신 첫 번째 사용자 메시지에 넣어 캐시된 접두사 안이 아닌 뒤에 위치하도록 하세요.

캐싱 없이 실행하면 172,800개의 입력 토큰을 읽고 4,800개의 출력 토큰을 씁니다. 캐싱하면 입력을 세 개의 버킷으로 나눕니다. 새 토큰은 캐시에 한 번 쓰입니다: 1단계에서 4,500개, 나머지 11단계에서 각각 1,800개, 총 24,300개입니다. 나머지 148,500개 토큰은 캐시 읽기입니다.

모든 요금은 백만 토큰당 기준입니다. 캐시 요금은 목록 가격에 "약 10% / 25%" 규칙을 적용한 것이며, Anthropic의 쓰기 프리미엄은 약 125%입니다. 쓰기 프리미엄이 작은 이유는 각 토큰이 한 번 쓰이고 최대 11번 읽히기 때문입니다. 40단계 실행에서는 반복되는 입력 비율이 단계마다 증가하므로 절감율이 80%를 넘습니다. [계산기](/calculator)에서 자신의 추적을 확인해보세요.

Anthropic의 경우, 마지막 도구와 시스템 프롬프트에 명시적 중단점을 설정하고, 최신 메시지에도 하나를 추가하여 대화를 캐시에서 읽도록 합니다:

from anthropic import Anthropic
client = Anthropic()
tools[-1]["cache_control"] = {"type": "ephemeral"}      # caches every tool before it too
messages[-1]["content"][-1]["cache_control"] = {"type": "ephemeral"}
resp = client.messages.create(
    model="claude-sonnet-5", max_tokens=2048,
    system=[{"type": "text", "text": SYSTEM_PROMPT,
             "cache_control": {"type": "ephemeral"}}],
    tools=tools, messages=messages,
)
u = resp.usage
# Sonnet 5 per 1M: input $2, write ~$2.50, read ~$0.20, output $10
cost = (u.input_tokens * 2 + u.cache_creation_input_tokens * 2.5
        + u.cache_read_input_tokens * 0.2 + u.output_tokens * 10) / 1_000_000

OpenAI의 경우, 캐싱이 자동으로 이루어지며 확인만 하면 됩니다:

from openai import OpenAI
client = OpenAI()
resp = client.responses.create(
    model="gpt-5.4", instructions=SYSTEM_PROMPT, tools=tools,
    input=conversation, prompt_cache_key="research-agent-v3",
)
u = resp.usage
cached = u.input_tokens_details.cached_tokens
# GPT-5.4 per 1M: input $2.50, cached read ~$0.25, output $15
cost = ((u.input_tokens - cached) * 2.5 + cached * 0.25
        + u.output_tokens * 15) / 1_000_000

단계별로 cost를 로그로 기록하세요. 2단계에서 캐시된 값이 0이면 중단하고, 더 오래 실행하기 전에 무효화 요인을 찾으세요.

• 시스템 프롬프트의 타임스탬프, 날짜 또는 "오늘은" 줄. 호출할 때마다 변경되므로 프리픽스가 일치하지 않습니다.
• 단계 간 도구 순서 또는 도구 세트 변경. 도구가 먼저 렌더링되므로 재정렬된 도구는 시스템 프롬프트와 그 뒤의 전체 대화를 무효화합니다.
• 불안정한 키 순서의 딕셔너리에서 도구 스키마를 직렬화. 전송 전에 키를 정렬하세요.
• 시스템 프롬프트 내의 요청 또는 추적 ID. 메타데이터 또는 첫 번째 사용자 메시지에 넣으세요.
• Anthropic에서 메시지를 추가하지 않고 이전 메시지를 편집(예: 이전 도구 결과 자르기). 캐시는 첫 번째 변경된 바이트에서 종료됩니다.
• 실행 중간에 모델 전환. 캐시는 모델별로 적용됩니다. Haiku 5.5 워커는 Sonnet 5 캐시를 읽을 수 없습니다.
• Gemini에서 명시적 캐시 삭제를 잊는 경우. 호출 여부와 관계없이 스토리지는 시간당 청구됩니다.

캐싱은 어떤 모델을 사용해야 하는지 변경하지 않으며, 비싼 모델의 비용을 변경합니다. 잘 정의된 도구 루프의 경우 캐싱 없이 Gemini 3.8 Flash($0.75 / $3.75) 또는 DeepSeek V4.1 Flash($0.30 / $1.20)가 12단계 실행을 각각 $0.15 및 약 $0.06에 완료합니다. DeepSeek V4.1 Flash(API 이름 deepseek-flash)는 DeepSeek이 중단한 V4 Flash를 대체했습니다. DeepSeek 행은 최고 요금을 사용하며, 비수기에는 요금이 절반입니다. DeepSeek 가격은 2026-10-27에 api-docs.deepseek.com에서 확인했습니다. 신뢰성 트레이드오프는 [AI 에이전트를 위한 가장 저렴한 LLM](/guides/cheapest-llm-for-ai-agents)을 참조하세요.

루프에 계획, 모호한 지침 또는 첫 번째 컴파일이 필요한 코드가 포함된 경우 Claude Opus 5($5 / $25) 또는 GPT-5.5($5 / $30) 비용을 지불하세요. 저렴한 모델에서 재시도하면 전체 컨텍스트가 다시 전송되어 한 번에 올바르게 처리하는 것보다 더 많은 비용이 들 수 있기 때문입니다. 캐싱을 사용하면 캐싱되지 않은 12단계 Opus 실행이 $0.98에서 약 $0.35가 되어 캐싱되지 않은 Sonnet 5보다 저렴해집니다.

캐싱은 기울기를 낮추지 천장을 낮추지 않습니다. 모든 에이전트에 네 가지 제어를 유지하세요:

• 호출당 max_tokens는 모델의 최대치가 아닌 가장 긴 합법적인 도구 호출에 맞게 크기 조정
• 실행당 하드 단계 제한; 12~25단계가 대부분의 작업을 처리
• 모델이 도달할 수 있는 중지 조건, 예: finish 도구, 그래야 "한 가지 더 확인하자"고 반복하지 않음
• 위 스니펫의 사용량 필드에서 계산된 실행당 달러 예산, 누적 합계가 이를 초과하면 중단

[토큰 예산 가드레일](/guides/ai-agent-token-budget-guardrails) 문서에는 마지막 항목을 수행하는 30줄 러너가 있습니다. 에이전트가 여러 MCP 서버에 연결하는 경우 다음으로 [MCP 서버 토큰 비용](/guides/mcp-server-token-cost)을 읽으세요. 큰 도구 목록은 캐싱의 이점을 가장 많이 받고 캐싱 없이 가장 큰 피해를 보는 프리픽스이기 때문입니다.