混合エキスパート(MoE)とは？
別名： Mixture of Experts、MoE
混合エキスパートは、依頼ごとにモデルの一部だけが働く設計です。ちょうど適切な専門家を呼ぶようなものです。
例
あるMoEモデルは1,000億のパラメーターを持ちますが、1語ごとに使うのは約100億だけです。
専門家向け
ルーターがトークンごとに少数のエキスパートネットワークを選びます。これにより、トークンあたりの計算を同じ割合で増やさずに、モデル全体のパラメーター数を大きくできます。ただしすべてのパラメーターをメモリに載せる必要があるため、ローカルでの利用は難しくなります。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。