Detto anche: Tempo di risposta, time to first token
La latenza è il tempo di attesa finché un’IA inizia a rispondere o finisce.
Esempio
Un assistente vocale con latenza alta risponde dopo tre secondi e la conversazione risulta impacciata.
Per esperti
Le metriche principali sono il tempo al primo token e i token al secondo. Dipende da dimensione del modello, lunghezza del prompt, sforzo di ragionamento, carico e rete. Modelli più piccoli, streaming, prompt caching e prompt più brevi la riducono.
