O cache KV é um armazenamento temporário dentro do modelo de linguagem que guarda partes já calculadas, para gerar cada nova palavra mais rápido.
Exemplo
Numa resposta longa, o modelo não precisa recalcular o texto anterior a cada palavra.
Para profissionais
Ele guarda os vetores de chave e valor da atenção de todos os tokens anteriores. O cache cresce com o tamanho do contexto e ocupa muita memória de GPU, por isso há métodos de compressão e compartilhamento. O cache de prompt dos fornecedores segue ideias parecidas.
