Cache de prompt significa que o fornecedor de IA guarda o início fixo da sua requisição, para que pedidos repetidos fiquem mais rápidos e baratos.
Exemplo
Um chatbot envia o mesmo manual longo a cada pergunta. Com cache, ele só é processado por inteiro uma vez.
Para profissionais
Vários fornecedores cobram bem menos pelos tokens de entrada em cache; condições e tempo de armazenamento variam. Para funcionar, a parte fixa precisa vir no início e ficar exatamente igual. Para comparar custos, veja a tabela de preços do fornecedor.
