Auch genannt: Knowledge Distillation, Wissensdestillation
Destillation heißt, ein kleines KI-Modell von einem großen lernen zu lassen, damit es fast so gut, aber schneller und günstiger wird.
Beispiel
Ein großes Modell beantwortet tausende Fragen, und ein kleines Modell lernt aus diesen Antworten.
Für Profis
Das „Schüler“-Modell lernt aus den Ausgaben oder Wahrscheinlichkeiten des „Lehrer“-Modells. Viele kleine Modelle entstehen so. Achtung: Die Nutzungsbedingungen vieler Anbieter verbieten, mit ihren Ausgaben konkurrierende Modelle zu trainieren.
