La mezcla de expertos es un diseño de modelo en el que solo trabaja una parte del modelo en cada petición, como si se llamara a los especialistas adecuados.
Ejemplo
Un modelo MoE tiene 100 000 millones de parámetros, pero por palabra solo usa unos 10 000 millones.
Para profesionales
Un enrutador elige pocas redes expertas para cada token. Así un modelo puede tener muchos más parámetros en total sin que el cálculo por token aumente al mismo ritmo. Aun así, todos los parámetros deben caber en memoria, lo que dificulta el uso local.
