Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators

要約

テスト時間計算のスケーリング、または推論中に発電機の大規模言語モデル（LLM）の追加計算を提供すると、通常、外部の非生成評価者（つまり、報酬モデル）の助けを採用します。
同時に、自然言語で評価と批評（説明）を生成するために訓練されたモデルであるLLM judgesは、自動評価でますます一般的になりつつあります。
裁判官の経験的成功にもかかわらず、テスト時間スケーリング設定の評価者としての有効性はほとんど不明です。
このホワイトペーパーでは、3つのドメイン（数学の推論、コード生成、および次の指示）で裁判官のパフォーマンスを評価するテスト時間スケーリング（Jetts）ベンチマークの裁判官評価を紹介します。
8つの異なるベースジェネレーターモデル（6.7b-72bパラメーター）について、10の異なる裁判官モデル（7b-70bパラメーター）を評価します。
私たちのベンチマークは、審査員が再ランキングの結果報酬モデルと競争しているが、ビーム検索手順でプロセス報酬モデルよりも一貫して悪いモデルであることを示しています。
さらに、LLMジャッジに固有のものですが、彼らの自然言語の批評は現在、発電機をより良い応答に導くのに効果がありません。

要約(オリジナル)

Scaling test-time computation, or affording a generator large language model (LLM) extra compute during inference, typically employs the help of external non-generative evaluators (i.e., reward models). Concurrently, LLM-judges, models trained to generate evaluations and critiques (explanations) in natural language, are becoming increasingly popular in automatic evaluation. Despite judge empirical successes, their effectiveness as evaluators in test-time scaling settings is largely unknown. In this paper, we introduce the Judge Evaluation for Test-Time Scaling (JETTS) benchmark, which evaluates judge performance in three domains (math reasoning, code generation, and instruction following) under three task settings: response reranking, step-level beam search, and critique-based response refinement. We evaluate 10 different judge models (7B-70B parameters) for 8 different base generator models (6.7B-72B parameters). Our benchmark shows that while judges are competitive with outcome reward models in reranking, they are consistently worse than process reward models in beam search procedures. Furthermore, though unique to LLM-judges, their natural language critiques are currently ineffective in guiding the generator towards better responses.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google