LoRA è un modo economico di adattare un modello di IA: invece di cambiare tutti i pesi, si addestrano solo piccoli moduli aggiuntivi.
Esempio
Con una LoRA un modello di immagini impara lo stile delle illustrazioni della tua azienda senza dover riaddestrare l’intero modello.
Per esperti
LoRA aggiunge piccole matrici a basso rango a matrici di pesi selezionate; si addestrano solo queste, mentre il modello di base resta congelato. Si risparmiano memoria e calcolo, e un adattatore è solo una piccola frazione del modello, spesso da pochi a qualche centinaio di megabyte. Varianti come QLoRA lo combinano con la quantizzazione.
