La cache KV è una memoria temporanea nel modello linguistico che conserva parti già calcolate, così ogni nuova parola viene generata più in fretta.
Esempio
In una risposta lunga il modello non deve ricalcolare il testo precedente per ogni parola.
Per esperti
Conserva i vettori chiave e valore dell’attenzione per tutti i token precedenti. Cresce con la lunghezza del contesto e occupa molta memoria della GPU, per cui esistono metodi di compressione e condivisione. Il prompt caching dei fornitori si basa su idee simili.
