Um benchmark é um teste padronizado para comparar modelos de IA, por exemplo em matemática, programação ou conhecimentos gerais.
Exemplo
Dois modelos resolvem os mesmos 500 problemas de matemática e seus resultados são comparados.
Para profissionais
Benchmarks medem só uma parte das capacidades e podem ficar desatualizados ou vazar para os dados de treinamento. Para a sua tarefa, o que mais conta é seu próprio teste com exemplos reais.
