投機的デコーディングとは？
別名： Speculative decoding
投機的デコーディングでは、小さく速いモデルが先に複数の単語を予想し、大きなモデルがそれを一度に確認します。そのぶん回答が速くなります。
例
小さなモデルが「いつもお世話に」と提案し、大きなモデルが1語ずつではなくまとめて確認します。
専門家向け
大きなモデルが提案を並列で確認し、正しいものだけを採用するため、出力の質は変わりません。どれだけ速くなるかは、小さなモデルの予想がどれだけ当たるかによります。多くのサービスが表示せずに内部で使っています。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。