Bei LLM-as-a-Judge bewertet ein Sprachmodell die Antworten eines anderen Modells, etwa nach Richtigkeit oder Ton.
Beispiel
Ein Modell vergibt für 500 Kundenantworten je eine Note von 1 bis 5 nach einer festen Checkliste.
Für Profis
Das skaliert besser als menschliche Bewertung, hat aber bekannte Verzerrungen: Bevorzugung längerer Antworten, der eigenen Modellfamilie oder der ersten Antwort. Eine klare Bewertungsanleitung und Stichproben durch Menschen sind Pflicht.
