LoRA es una forma económica de adaptar un modelo de IA: en lugar de cambiar todos los pesos, solo se entrenan pequeños módulos adicionales.
Ejemplo
Con una LoRA, un modelo de imágenes aprende el estilo de las ilustraciones de tu empresa sin tener que reentrenar todo el modelo.
Para profesionales
LoRA añade pequeñas matrices de rango bajo a matrices de pesos seleccionadas; solo se entrenan estas y el modelo base queda congelado. Así se ahorra memoria y cómputo, y un adaptador ocupa solo una pequeña fracción del modelo, a menudo de unos pocos a unos cientos de megabytes. Variantes como QLoRA lo combinan con la cuantización.
