Latenz ist die Wartezeit, bis eine KI zu antworten beginnt oder fertig ist.
Beispiel
Ein Sprachassistent mit hoher Latenz antwortet erst nach drei Sekunden; das Gespräch wirkt holprig.
Für Profis
Wichtige Kennzahlen sind die Zeit bis zum ersten Token und die Token pro Sekunde. Latenz hängt von Modellgröße, Prompt-Länge, Reasoning-Aufwand, Auslastung und Netzwerk ab. Kleinere Modelle, Streaming, Prompt Caching und kürzere Prompts senken sie.
