Mistura de especialistas é um desenho de modelo em que só uma parte do modelo trabalha em cada pedido, como chamar os especialistas certos.
Exemplo
Um modelo MoE tem 100 bilhões de parâmetros, mas usa só cerca de 10 bilhões por palavra.
Para profissionais
Um roteador escolhe poucas redes especialistas para cada token. Assim um modelo pode ter muito mais parâmetros no total sem que o custo por token aumente no mesmo ritmo. Mesmo assim, todos os parâmetros precisam caber na memória, o que dificulta o uso local.
