Con l’LLM come giudice, un modello linguistico valuta le risposte di un altro modello, ad esempio per correttezza o tono.
Esempio
Un modello dà un voto da 1 a 5 a ciascuna di 500 risposte ai clienti secondo una checklist fissa.
Per esperti
Scala meglio della valutazione umana, ma ha distorsioni note: preferisce risposte più lunghe, la propria famiglia di modelli o la prima risposta. Servono istruzioni di valutazione chiare e controlli umani a campione.
