예시
긴 답을 쓸 때 모델이 단어마다 앞의 글을 다시 계산하지 않아도 됩니다.
전문가용
앞선 모든 토큰에 대한 어텐션의 키와 값 벡터를 저장합니다. 문맥이 길수록 커지고 GPU 메모리를 많이 차지하므로 압축과 공유 기법이 있습니다. 제공자 쪽의 프롬프트 캐싱도 비슷한 생각에 기반합니다.
출처: huggingface.co, arXiv 2211.05102 · 확인일: 2026년 10월 19일
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.
