평가(Evals) 뜻

다른 이름: Evals, AI 테스트 세트

Evals는 AI 앱이 맡은 일을 얼마나 잘하는지 확인하는, 반복 실행할 수 있는 테스트입니다.

예시

업데이트할 때마다 상담 봇에 같은 질문 100개를 던져 정답률을 비교합니다.

공개 벤치마크와 달리 Evals는 여러분의 작업을 여러분의 데이터로 시험합니다. 채점은 자동, 사람, 또는 LLM-as-a-judge로 합니다. 좋은 Evals는 어려운 경계 사례를 포함하고, 프롬프트·모델·데이터를 바꿀 때마다 실행합니다.