Detto anche: Test-time compute, scaling in inferenza
Il test-time compute consiste nel dare all’IA più tempo di calcolo quando risponde, così può ragionare più a lungo. Spesso migliora le risposte difficili.
Esempio
Davanti a un quesito di logica complicato, il modello ragiona un minuto invece di un secondo e sbaglia meno.
Per esperti
Invece di addestrare solo modelli più grandi, si aumenta il lavoro per singola richiesta, ad esempio con catene di ragionamento più lunghe o più tentativi. I modelli di ragionamento lo usano e molti fornitori permettono di regolare lo sforzo. Ragionare di più costa più token e più attesa.
