También llamado: Aprendizaje por refuerzo con retroalimentación humana
El RLHF es una fase de entrenamiento en la que personas valoran las respuestas de una IA y el modelo aprende a dar las preferidas.
Ejemplo
Las personas evaluadoras eligen la más útil de dos respuestas; el modelo aprende de miles de esas elecciones.
Para profesionales
Con las valoraciones se entrena un modelo de recompensa que optimiza el modelo de lenguaje mediante aprendizaje por refuerzo. Métodos afines son DPO y el entrenamiento con retroalimentación de IA. El RLHF hace los modelos más útiles y amables, pero puede llevar a darte la razón en exceso.
