Com LLM como juiz, um modelo de linguagem avalia as respostas de outro modelo, por exemplo quanto à exatidão ou ao tom.
Exemplo
Um modelo dá nota de 1 a 5 para cada uma de 500 respostas a clientes, seguindo uma lista fixa.
Para profissionais
Escala melhor que a avaliação humana, mas tem vieses conhecidos: prefere respostas mais longas, a própria família de modelos ou a primeira resposta. Instruções de avaliação claras e conferência humana por amostragem são indispensáveis.
Prompts, skills, agentes e ferramentas relacionados
