RevisEval: Improving LLM-as-a-Judge via Response-Adapted References

要約

最近の研究における多大な努力により、LLM-as-a-Judge は、幅広いタスクにおけるテキスト生成の品質を評価するための、人間による評価に代わる費用対効果の高い代替手段となりました。
ただし、LLM-as-a-Judge と人間の評価の間には信頼性のギャップがまだ残っています。
重要な理由の 1 つは、評価プロセスにガイド付きのオラクルが欠如していることです。
古典的なテキスト評価で広く使用されている参照の役割を動機として、応答に適応した参照を介した新しいテキスト生成評価パラダイムである RevisEval を紹介します。
RevisEval は、理想的なリファレンスは評価される応答との必要な関連性を維持する必要があるという重要な観察に基づいて推進されています。
具体的には、RevisEval は、大規模言語モデル (LLM) のテキスト改訂機能を利用して応答を適応的に改訂し、改訂されたテキストをその後の評価の参照 (応答に適応した参照) として扱います。
広範な実験により、RevisEval は、NLG タスクと無制限の指示に従うタスクにわたって LLM をジャッジとして使用する従来のリファレンスフリーおよびリファレンスベースの評価パラダイムよりも優れたパフォーマンスを発揮することが実証されています。
さらに重要なことは、応答に適応した参照は、従来の参照と比較して、BLEU や BERTScore などの古典的なテキスト指標をさらに向上させることができ、LLM-as-a-Judge に匹敵することさえあります。
バイアス削減における RevisEval の有効性、推論コストの影響、参照の関連性を確認するために、詳細な分析も行われます。

要約(オリジナル)

With significant efforts in recent studies, LLM-as-a-Judge has become a cost-effective alternative to human evaluation for assessing the text generation quality in a wide range of tasks. However, there still remains a reliability gap between LLM-as-a-Judge and human evaluation. One important reason is the lack of guided oracles in the evaluation process. Motivated by the role of reference pervasively used in classic text evaluation, we introduce RevisEval, a novel text generation evaluation paradigm via the response-adapted references. RevisEval is driven by the key observation that an ideal reference should maintain the necessary relevance to the response to be evaluated. Specifically, RevisEval leverages the text revision capabilities of large language models (LLMs) to adaptively revise the response, then treat the revised text as the reference (response-adapted reference) for the subsequent evaluation. Extensive experiments demonstrate that RevisEval outperforms traditional reference-free and reference-based evaluation paradigms that use LLM-as-a-Judge across NLG tasks and open-ended instruction-following tasks. More importantly, our response-adapted references can further boost the classical text metrics, e.g., BLEU and BERTScore, compared to traditional references and even rival the LLM-as-a-Judge. A detailed analysis is also conducted to confirm RevisEval’s effectiveness in bias reduction, the impact of inference cost, and reference relevance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google