En la decodificación especulativa, un modelo pequeño y rápido adivina varias palabras por adelantado y el modelo grande las comprueba de una vez. Así las respuestas llegan antes.
Ejemplo
El modelo pequeño propone «muchas gracias por su» y el grande lo confirma de golpe en lugar de palabra por palabra.
Para profesionales
Como el modelo grande comprueba las propuestas en paralelo y solo acepta las correctas, el resultado es equivalente. La ganancia depende de cuántas veces acierte el modelo pequeño. Muchos proveedores lo usan internamente sin mostrarlo.
