Nella decodifica speculativa un modello piccolo e veloce indovina in anticipo più parole e il modello grande le verifica in un solo passaggio. Così le risposte arrivano prima.
Esempio
Il modello piccolo propone «grazie mille per la», il grande lo conferma in blocco invece che parola per parola.
Per esperti
Poiché il modello grande verifica le proposte in parallelo e accetta solo quelle corrette, il risultato resta equivalente. Il guadagno dipende da quanto spesso il modello piccolo indovina. Molti fornitori lo usano internamente senza mostrarlo.
