Também chamado de: Tempo de resposta, time to first token
Latência é o tempo de espera até uma IA começar a responder ou terminar.
Exemplo
Um assistente de voz com latência alta só responde depois de três segundos, e a conversa fica truncada.
Para profissionais
As métricas principais são o tempo até o primeiro token e os tokens por segundo. A latência depende do tamanho do modelo, do tamanho do prompt, do esforço de raciocínio, da carga e da rede. Modelos menores, streaming, cache de prompt e prompts mais curtos a reduzem.
