El preentrenamiento es la primera y mayor fase de aprendizaje de un modelo de IA, en la que aprende cómo funciona el lenguaje a partir de enormes cantidades de texto.
Ejemplo
Durante el preentrenamiento, un modelo de lenguaje lee miles de millones de frases y practica predecir la palabra siguiente.
Para profesionales
Del preentrenamiento sale el modelo base. Después viene el posentrenamiento, con ajuste fino y RLHF. Suele ser el paso que más cómputo requiere y fija la fecha de corte del conocimiento.
