전문가 혼합(MoE) 뜻
다른 이름: Mixture of experts, MoE
전문가 혼합은 요청마다 모델의 일부만 일하는 설계입니다. 마치 알맞은 전문가만 부르는 것과 같습니다.
예시
어떤 MoE 모델은 파라미터가 1,000억 개지만 단어 하나를 처리할 때는 약 100억 개만 씁니다.
전문가용
라우터가 토큰마다 소수의 전문가 네트워크를 고릅니다. 덕분에 토큰당 연산을 같은 비율로 늘리지 않고도 모델 전체의 파라미터 수를 크게 늘릴 수 있습니다. 하지만 모든 파라미터를 메모리에 올려야 하므로 로컬에서 쓰기는 어렵습니다.
출처: arXiv 1701.06538, huggingface.co, Wikipedia · 확인일: 2026년 10월 19일
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.
