Il pre-addestramento è la prima e più ampia fase di apprendimento di un modello di IA, in cui impara come funziona la lingua da enormi quantità di testo.
Esempio
Durante il pre-addestramento un modello linguistico legge miliardi di frasi ed esercita la previsione della parola successiva.
Per esperti
Dal pre-addestramento nasce il modello di base. Segue il post-addestramento con fine-tuning e RLHF. Di solito è la fase che richiede più calcolo e fissa la data limite delle conoscenze.
