評価(Evals)とは？

別名： Evals、AIテストスイート

Evalsは、AIアプリがどれだけうまく仕事をこなすかを確かめる、繰り返し実行できるテストです。

例

アップデートのたびに、サポートボットに同じ100個の質問をして正答率を比べます。

公開ベンチマークと違い、Evalsは自分の作業を自分のデータでテストします。採点は自動、人手、またはLLM-as-a-judgeで行います。良いEvalsには難しい境界ケースを含め、プロンプト、モデル、データを変えるたびに実行します。