サンプリング(top-p、top-k)とは？
別名： デコーディング戦略
サンプリングは、言語モデルが次に来る候補の単語からひとつを選ぶ方法です。文章がどれだけ予測どおりになるか、変化に富むかを決めます。
例
狭いサンプリングでは商品説明が均一な文になり、広いサンプリングでは創造的でも予測しにくいアイデアが出ます。
専門家向け
top-kは確率の高い上位k個のトークンから選び、top-p(nucleus sampling)は確率の合計がpに達する最小の集合から選びます。温度(temperature)と合わせて多様さを調整します。推論モデルでは、これらの設定が固定されていることがよくあります。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。