L’inferenza è l’uso di un modello già addestrato. Ogni risposta che ricevi da un’IA è inferenza.
Esempio
Fai una domanda, il modello calcola per un attimo e scrive la risposta. Questa è inferenza.
Per esperti
L’inferenza consuma potenza di calcolo per ogni richiesta; per questo le API fatturano per token. Tempi di attesa e costi dipendono da dimensioni del modello, lunghezza di input e output e hardware.
