KVキャッシュとは？
別名： キー・バリューキャッシュ
KVキャッシュは、言語モデル内部で計算済みの部分を一時的に保存し、新しい単語を速く作れるようにする仕組みです。
例
長い回答でも、モデルは単語ごとにそれまでの文章を計算し直す必要がありません。
専門家向け
それまでのすべてのトークンについて、アテンションのキーとバリューのベクトルを保存します。文脈が長くなるほど大きくなり、GPUメモリを多く使うため、圧縮や共有の手法があります。サービス側のプロンプトキャッシュも似た考え方にもとづいています。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。