Vortraining ist die erste und umfangreichste Lernphase eines KI-Modells. Es lernt dabei aus riesigen Textmengen, wie Sprache funktioniert.
Beispiel
Ein Sprachmodell liest im Vortraining Milliarden Sätze und übt, jeweils das nächste Wort vorherzusagen.
Für Profis
Beim Vortraining entsteht das Basismodell. Danach folgt das Nachtraining (Post-Training) mit Fine-Tuning und RLHF. Das Vortraining ist meist der rechenintensivste Schritt und bestimmt den Wissensstand (Knowledge Cutoff).
