Evals sind wiederholbare Tests, mit denen man prüft, wie gut eine KI-Anwendung ihre Aufgabe erledigt.
Beispiel
Vor jedem Update prüfen Sie Ihren Support-Bot mit denselben 100 Fragen und vergleichen die Trefferquote.
Für Profis
Im Unterschied zu öffentlichen Benchmarks testen Evals die eigene Aufgabe mit eigenen Daten. Bewertet wird automatisch, durch Menschen oder per LLM-as-a-Judge. Gute Evals enthalten schwierige Randfälle und laufen bei jeder Änderung an Prompt, Modell oder Daten.
