Inferenz heißt: Ein fertig trainiertes Modell wird benutzt. Jede Antwort, die Sie von einer KI bekommen, ist Inferenz.
Beispiel
Sie stellen eine Frage, das Modell rechnet kurz und schreibt die Antwort. Das ist Inferenz.
Für Profis
Inferenz kostet Rechenzeit pro Anfrage. Deshalb rechnen API-Anbieter nach Tokens ab. Wartezeit und Kosten hängen von Modellgröße, Länge der Eingabe und Ausgabe sowie der Hardware ab.
