The Comparative Trap: Pairwise Comparisons Amplifies Biased Preferences of LLM Evaluators

要約

大規模な言語モデル（LLM）が自然言語生成タスクの評価者としてますます使用されているため、公平な評価が不可欠であることを保証します。
ただし、LLM評価者は、多くの場合、冗長性や権威あるトーンを好むなどの偏った好みを表示します。
私たちの経験的分析は、これらのバイアスがペアワイズ評価で悪化していることを明らかにしています。ここでは、LLMSは2つの出力を直接比較し、表面的な属性を簡単に優先順位付けします。
対照的に、出力を独立して評価する点ごとの評価は、各出力が単独で判断されるため、そのようなバイアスの影響を受けにくい。
ペアワイズ評価の制限に対処するために、ペアワイズフレームワーク内に点ワイズの推論を統合する新しい評価方法であるPrepairを紹介します。
Prepairは、標準ベンチマーク（MTベンチ）のポイントワイズ評価を上回りながら、敵対的なベンチマーク（LLMBAR）でのパフォーマンスを改善し、偏った好みを効果的に緩和し、敵対的なベンチマーク（LLMBAR）を改善します。

要約(オリジナル)

As large language models (LLMs) are increasingly used as evaluators for natural language generation tasks, ensuring unbiased assessments is essential. However, LLM evaluators often display biased preferences, such as favoring verbosity and authoritative tones. Our empirical analysis reveals that these biases are exacerbated in pairwise evaluation, where LLMs directly compare two outputs and easily prioritize superficial attributes. In contrast, pointwise evaluation, which assesses outputs independently, is less susceptible to such bias because each output is judged in isolation. To address the limitations of the pairwise evaluation, we introduce a novel evaluation method, PRePair, which integrates pointwise reasoning within a pairwise framework. PRePair effectively alleviates biased preference, improving performance on the adversarial benchmark (LLMBar) while outperforming pointwise evaluation on the standard benchmark (MT-Bench).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google