La mixture of experts è un’architettura in cui per ogni richiesta lavora solo una parte del modello, come se si chiamassero gli specialisti giusti.
Esempio
Un modello MoE ha 100 miliardi di parametri, ma per ogni parola ne usa solo circa 10 miliardi.
Per esperti
Un router sceglie per ogni token poche reti esperte. Così un modello può avere molti più parametri in totale senza che il calcolo per token aumenti allo stesso ritmo. Tutti i parametri devono comunque stare in memoria, il che rende difficile l’uso in locale.
