Las leyes de escalado describen cómo los modelos de IA mejoran de forma previsible al aumentar el tamaño del modelo, los datos y el cálculo.
Ejemplo
Antes de un entrenamiento caro, los investigadores estiman aproximadamente lo bueno que será un modelo diez veces mayor.
Para profesionales
Estudios de 2020 y 2022 («Chinchilla») mostraron que el error sigue aproximadamente una ley de potencias y que parámetros y datos deben crecer en la proporción adecuada. Son observaciones empíricas, no leyes naturales. Los enfoques más nuevos también escalan el cálculo al responder (test-time compute).
