La caché KV es un almacén temporal dentro del modelo de lenguaje que guarda partes ya calculadas para generar cada palabra nueva más rápido.
Ejemplo
En una respuesta larga, el modelo no tiene que recalcular el texto anterior para cada palabra.
Para profesionales
Guarda los vectores de clave y valor de la atención para todos los tokens anteriores. Crece con la longitud del contexto y ocupa mucha memoria de GPU, por lo que existen métodos de compresión y reparto. La caché de prompts de los proveedores se basa en ideas parecidas.
