Também chamado de: Avaliações, bateria de testes de IA
Evals são testes repetíveis para verificar quão bem uma aplicação de IA faz o seu trabalho.
Exemplo
Antes de cada atualização, você testa seu bot de atendimento com as mesmas 100 perguntas e compara a taxa de acerto.
Para profissionais
Diferente dos benchmarks públicos, as evals testam sua própria tarefa com seus próprios dados. A nota é dada de forma automática, por pessoas ou com LLM como juiz. Boas evals incluem casos-limite difíceis e rodam a cada mudança de prompt, modelo ou dados.
Prompts, skills, agentes e ferramentas relacionados
