LLM-as-a-judge 뜻

다른 이름: 평가자 AI, LLM 채점

LLM-as-a-judge는 한 언어 모델이 다른 모델의 답변을 정확성이나 말투 같은 기준으로 평가하는 방식입니다.

예시

한 모델이 정해진 체크리스트에 따라 고객 응답 500건을 각각 1~5점으로 채점합니다.

사람의 평가보다 규모를 키우기 쉽지만, 긴 답변 선호, 같은 계열 모델 선호, 첫 번째 답변 선호 같은 알려진 편향이 있습니다. 명확한 채점 지침과 사람의 표본 검토가 꼭 필요합니다.