ما المقصود بـمزيج الخبراء (MoE)؟
يُسمّى أيضًا: Mixture of experts، MoE
مزيج الخبراء تصميم لا يعمل فيه إلا جزء من النموذج في كل طلب، كأنك تستدعي المختصين المناسبين فقط.
مثال
نموذج MoE فيه 100 مليار معامل، لكنه يستخدم نحو 10 مليارات فقط لكل كلمة.
للمحترفين
يختار موجِّه لكل رمز عددًا قليلًا من شبكات الخبراء. بذلك يمكن أن يضم النموذج معاملات أكثر بكثير دون أن ترتفع حوسبة كل رمز بالقدر نفسه. لكن يجب تحميل كل المعاملات في الذاكرة، ما يصعّب التشغيل المحلي.
كتبه فريق AI Compare Ninja بمساعدة الذكاء الاصطناعي وراجعه بنفسه. كل شرح هنا نص من تأليفنا.