추측 디코딩 뜻
다른 이름: Speculative decoding
추측 디코딩에서는 작고 빠른 모델이 여러 단어를 미리 추측하고, 큰 모델이 한 번에 확인합니다. 그만큼 답이 빨라집니다.
예시
작은 모델이 “항상 감사드립니다”를 제안하면 큰 모델이 한 단어씩이 아니라 한꺼번에 확인합니다.
전문가용
큰 모델이 제안을 병렬로 확인하고 맞는 것만 받아들이므로 결과의 질은 같습니다. 얼마나 빨라지는지는 작은 모델이 얼마나 자주 맞히는지에 달려 있습니다. 많은 서비스가 겉으로 드러내지 않고 내부에서 씁니다.
출처: arXiv 2211.17192, Wikipedia · 확인일: 2026년 10월 19일
AI Compare Ninja가 AI의 도움을 받아 작성하고 직접 검토했습니다. 모든 설명은 자체 작성한 글입니다.
