La destilación consiste en que un modelo de IA pequeño aprenda de uno grande para ser casi igual de bueno, pero más rápido y barato.
Ejemplo
Un modelo grande responde miles de preguntas y un modelo pequeño aprende de esas respuestas.
Para profesionales
El modelo «alumno» aprende de las salidas o probabilidades del modelo «profesor». Muchos modelos pequeños se crean así. Ojo: las condiciones de muchos proveedores prohíben usar sus respuestas para entrenar modelos competidores.
