LoRA é um jeito econômico de adaptar um modelo de IA: em vez de mudar todos os pesos, você treina só pequenos módulos extras.
Exemplo
Com uma LoRA, um modelo de imagem aprende o estilo das ilustrações da sua empresa sem precisar retreinar o modelo inteiro.
Para profissionais
A LoRA acrescenta pequenas matrizes de posto baixo a matrizes de pesos selecionadas; só elas são treinadas, e o modelo base fica congelado. Isso economiza memória e processamento, e um adaptador ocupa só uma pequena fração do modelo, muitas vezes de alguns a algumas centenas de megabytes. Variantes como a QLoRA combinam isso com quantização.
