Prompt-Caching heißt, dass ein KI-Anbieter einen gleichbleibenden Anfang Ihrer Anfrage zwischenspeichert. Wiederholte Anfragen werden dadurch schneller und günstiger.
Beispiel
Ein Chatbot schickt bei jeder Frage dasselbe lange Handbuch mit. Mit Caching wird es nur einmal voll berechnet.
Für Profis
Zwischengespeicherte Eingabe-Token werden bei mehreren Anbietern deutlich günstiger abgerechnet; Bedingungen und Speicherdauer unterscheiden sich. Damit es greift, muss der feste Teil am Anfang stehen und exakt gleich bleiben. Für Kostenvergleiche lohnt der Blick in die Preisliste des Anbieters.
