Il prompt caching significa che il fornitore di IA memorizza l’inizio fisso della tua richiesta, così le richieste ripetute diventano più veloci ed economiche.
Esempio
Un chatbot invia lo stesso lungo manuale a ogni domanda. Con la cache viene elaborato per intero una volta sola.
Per esperti
Diversi fornitori fatturano i token di input in cache a una tariffa molto più bassa; condizioni e durata variano. Perché funzioni, la parte fissa deve stare all’inizio e restare identica. Per confrontare i costi, consulta il listino del fornitore.
