프롬프트 캐싱 뜻
다른 이름: Prompt caching
프롬프트 캐싱은 AI 서비스가 요청의 고정된 앞부분을 저장해, 반복되는 요청을 더 빠르고 저렴하게 처리하는 방식입니다.
예시
챗봇이 질문할 때마다 같은 긴 설명서를 보냅니다. 캐싱을 쓰면 전체 처리는 한 번만 하면 됩니다.
전문가용
여러 제공자가 캐시된 입력 토큰에 훨씬 낮은 요금을 매깁니다. 조건과 보관 기간은 제공자마다 다릅니다. 효과를 보려면 고정 부분을 맨 앞에 두고 완전히 똑같이 유지해야 합니다. 비용을 비교하려면 제공자의 요금표를 확인하세요.
AI Compare Ninja에서 보기
관련 프롬프트·스킬·에이전트·도구
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.