LLM-as-a-judgeとは？

別名：評価役のAI、LLMによる採点

LLM-as-a-judgeでは、ある言語モデルが別のモデルの回答を、正確さや口調などの観点で評価します。

例

あるモデルが、決まったチェックリストに沿って500件の顧客対応回答をそれぞれ1〜5点で採点します。

人による評価より大規模に行えますが、長い回答を好む、同じ系統のモデルを好む、最初の回答を好むといった既知の偏りがあります。明確な採点指示と、人による抜き取り確認が欠かせません。