Mixture of Experts ist ein Modellaufbau, bei dem für jede Anfrage nur ein Teil des Modells arbeitet, sozusagen die passenden „Fachleute“.
Beispiel
Ein MoE-Modell hat 100 Milliarden Parameter, nutzt pro Wort aber nur etwa 10 Milliarden davon.
Für Profis
Ein Router wählt pro Token wenige Experten-Netze aus. So kann ein Modell insgesamt viel mehr Parameter haben, ohne dass die Rechenkosten pro Token im gleichen Maß steigen. Alle Parameter müssen trotzdem in den Speicher passen, was lokale Nutzung erschwert.
