La distillazione consiste nel far imparare un piccolo modello di IA da uno grande, perché diventi quasi altrettanto bravo ma più veloce ed economico.
Esempio
Un modello grande risponde a migliaia di domande e un modello piccolo impara da quelle risposte.
Per esperti
Il modello «studente» impara dagli output o dalle probabilità del modello «insegnante». Molti modelli piccoli nascono così. Attenzione: le condizioni di molti fornitori vietano di usare i loro output per addestrare modelli concorrenti.
