スケーリング則とは?
別名: Scaling laws
スケーリング則は、モデルの大きさ、データ量、計算量を増やすと、AIモデルが予測可能な形で良くなることを表します。
例
費用のかかる学習を始める前に、10倍大きなモデルがどの程度の性能になるかを研究者が見積もります。
専門家向け
2020年と2022年の研究(「Chinchilla」)で、誤差がおおむねべき乗則に従うこと、パラメーター数と学習データを適切な比率で増やすべきことが示されました。これは経験的な観察であり、自然法則ではありません。新しい手法では、回答時の計算量(推論時計算)も増やします。
AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。