事前学習とは？

別名：プレトレーニング

事前学習は、AIモデルが膨大な文章から言葉の仕組みを学ぶ、最初で最大の学習段階です。

例

事前学習で、言語モデルは何十億もの文を読み、次の単語を予測する練習をします。

事前学習でベースモデルができ、その後にファインチューニングやRLHFなどの事後学習が続きます。多くの場合、最も計算量の多い段階で、知識の締め切り日(カットオフ)もここで決まります。

AI Compare NinjaがAIの支援を受けて執筆し、編集部が確認しています。すべての解説は独自の文章です。