Ein Benchmark ist ein standardisierter Test, mit dem man KI-Modelle vergleicht, zum Beispiel in Mathe, Programmieren oder Allgemeinwissen.
Beispiel
Zwei Modelle lösen dieselben 500 Matheaufgaben, und man vergleicht die Trefferquote.
Für Profis
Benchmarks messen nur einen Ausschnitt und können veralten oder ins Training gelangen. Für Ihre Aufgabe zählt am Ende ein eigener Test mit echten Beispielen.
