LoRA ist eine sparsame Methode, ein KI-Modell anzupassen: Statt alle Gewichte zu ändern, trainiert man nur kleine Zusatzbausteine.
Beispiel
Mit einer LoRA lernt ein Bildmodell den Stil Ihrer Firmenillustrationen, ohne dass das ganze Modell neu trainiert werden muss.
Für Profis
LoRA ergänzt ausgewählte Gewichtsmatrizen um kleine Matrizen niedrigen Rangs; nur diese werden trainiert, das Grundmodell bleibt eingefroren. Das spart Speicher und Rechenzeit, und ein Adapter ist nur ein kleiner Bruchteil der Modellgröße, oft einige bis einige hundert Megabyte. Varianten wie QLoRA kombinieren das mit Quantisierung.
