Le leggi di scala descrivono come i modelli di IA migliorano in modo prevedibile aumentando dimensione del modello, dati e potenza di calcolo.
Esempio
Prima di un addestramento costoso, i ricercatori stimano più o meno quanto sarà bravo un modello dieci volte più grande.
Per esperti
Studi del 2020 e del 2022 («Chinchilla») hanno mostrato che l’errore segue all’incirca una legge di potenza e che parametri e dati devono crescere nella giusta proporzione. Sono osservazioni empiriche, non leggi di natura. Gli approcci più recenti aumentano anche il calcolo al momento della risposta (test-time compute).
