Beim spekulativen Dekodieren rät ein kleines, schnelles Modell mehrere Wörter vor, und das große Modell prüft sie in einem Schritt. Das macht Antworten schneller.
Beispiel
Das kleine Modell schlägt „vielen Dank für Ihre“ vor, das große bestätigt es auf einmal statt Wort für Wort.
Für Profis
Weil das große Modell die Vorschläge parallel prüft und nur korrekte übernimmt, bleibt die Ausgabe gleichwertig. Der Gewinn hängt davon ab, wie oft das kleine Modell richtig liegt. Viele Anbieter nutzen das intern, ohne es anzuzeigen.
