También llamado: Sampling, estrategia de decodificación
El muestreo es la forma en que un modelo de lenguaje elige una entre varias palabras siguientes posibles. Decide lo previsibles o variados que salen los textos.
Ejemplo
Con un muestreo estrecho, los textos de producto suenan uniformes; con uno amplio, surgen ideas más creativas pero menos previsibles.
Para profesionales
Top-k elige solo entre los k tokens más probables; top-p (nucleus sampling), entre el conjunto más pequeño cuya probabilidad conjunta alcanza p. Junto con la temperatura, controla la variedad. En los modelos de razonamiento estos ajustes suelen estar fijados.
