Na decodificação especulativa, um modelo pequeno e rápido adivinha várias palavras adiante e o modelo grande as confere de uma vez. Isso acelera as respostas.
Exemplo
O modelo pequeno sugere “muito obrigado pelo seu” e o grande confirma tudo de uma vez, em vez de palavra por palavra.
Para profissionais
Como o modelo grande confere as sugestões em paralelo e só aceita as corretas, o resultado continua equivalente. O ganho depende de quantas vezes o modelo pequeno acerta. Muitos fornecedores usam isso internamente sem mostrar.
