Destilação é fazer um modelo de IA pequeno aprender com um grande, para ficar quase tão bom, mas mais rápido e barato.
Exemplo
Um modelo grande responde milhares de perguntas, e um modelo pequeno aprende com essas respostas.
Para profissionais
O modelo “aluno” aprende com as saídas ou probabilidades do modelo “professor”. Muitos modelos pequenos são criados assim. Atenção: os termos de muitos fornecedores proíbem usar as respostas deles para treinar modelos concorrentes.
