O pré-treinamento é a primeira e maior fase de aprendizado de um modelo de IA, em que ele aprende como a linguagem funciona a partir de enormes volumes de texto.
Exemplo
No pré-treinamento, um modelo de linguagem lê bilhões de frases e pratica prever a próxima palavra.
Para profissionais
O pré-treinamento gera o modelo base. Depois vem o pós-treinamento, com ajuste fino e RLHF. Costuma ser a etapa que mais exige processamento e define a data de corte do conhecimento.
