Sampling ist die Art, wie ein Sprachmodell aus mehreren möglichen nächsten Wörtern eines auswählt. Es bestimmt, wie vorhersehbar oder abwechslungsreich Texte werden.
Beispiel
Mit engem Sampling klingen Produkttexte einheitlich, mit weitem Sampling entstehen kreativere, aber unberechenbarere Ideen.
Für Profis
Top-k wählt nur aus den k wahrscheinlichsten Token, Top-p (Nucleus Sampling) aus der kleinsten Menge, deren Wahrscheinlichkeit zusammen p erreicht. Zusammen mit der Temperature steuert das die Vielfalt. Bei Reasoning-Modellen sind diese Regler oft fest eingestellt.
