Leis de escala descrevem como modelos de IA melhoram de forma previsível quando aumentam o tamanho do modelo, os dados e o processamento.
Exemplo
Antes de um treinamento caro, pesquisadores estimam mais ou menos quão bom será um modelo dez vezes maior.
Para profissionais
Estudos de 2020 e 2022 (“Chinchilla”) mostraram que o erro segue aproximadamente uma lei de potência e que parâmetros e dados devem crescer na proporção certa. São observações empíricas, não leis da natureza. Abordagens mais novas também aumentam o processamento na hora da resposta (test-time compute).
