También llamado: Tiempo de respuesta, time to first token
La latencia es el tiempo de espera hasta que una IA empieza a responder o termina.
Ejemplo
Un asistente de voz con mucha latencia responde a los tres segundos y la conversación se vuelve torpe.
Para profesionales
Las métricas clave son el tiempo hasta el primer token y los tokens por segundo. Depende del tamaño del modelo, la longitud del prompt, el esfuerzo de razonamiento, la carga y la red. Modelos más pequeños, streaming, caché de prompts y prompts más cortos la reducen.
