Der KV-Cache ist ein Zwischenspeicher im Sprachmodell, der bereits berechnete Teile merkt, damit das Erzeugen jedes neuen Wortes schneller geht.
Beispiel
Bei einer langen Antwort muss das Modell den bisherigen Text nicht für jedes Wort neu durchrechnen.
Für Profis
Gespeichert werden die Key- und Value-Vektoren der Attention für alle bisherigen Token. Der Cache wächst mit der Kontextlänge und belegt viel Grafikspeicher, deshalb gibt es Kompressions- und Teilverfahren. Prompt Caching bei Anbietern baut auf ähnlichen Ideen auf.
