A Survey on LLM-as-a-Judge

要約

正確で一貫した評価は、さまざまな分野にわたる意思決定に不可欠ですが、固有の主観性、変動性、スケールのため、依然として困難な作業です。
大規模言語モデル (LLM) はさまざまな分野で目覚ましい成功を収めており、LLM が複雑なタスクの評価者として採用される「裁判官としての LLM」の出現につながりました。
LLM は、多様なデータ タイプを処理し、スケーラブルでコスト効率が高く、一貫した評価を提供する能力により、従来の専門家主導の評価に代わる魅力的な選択肢を提供します。
ただし、LLM-as-a-Judge システムの信頼性を確保することは依然として重要な課題であり、慎重な設計と標準化が必要です。
このペーパーでは、LLM-as-a-Judge の包括的な調査を提供し、「信頼性の高い LLM-as-a-Judge システムはどのように構築できるか?」という核心的な質問に対処します。
私たちは、一貫性の向上、バイアスの軽減、多様な評価シナリオへの適応など、信頼性を高めるための戦略を模索します。
さらに、この目的のために設計された新しいベンチマークによってサポートされる、LLM-as-a-Judge システムの信頼性を評価するための方法論を提案します。
LLM-as-a-Judge システムの開発と実際の展開を進めるために、実際の応用、課題、将来の方向性についても議論しました。
この調査は、この急速に進化する分野の研究者や実務家にとって基礎的な参考資料として役立ちます。

要約(オリジナル)

Accurate and consistent evaluation is crucial for decision-making across numerous fields, yet it remains a challenging task due to inherent subjectivity, variability, and scale. Large Language Models (LLMs) have achieved remarkable success across diverse domains, leading to the emergence of ‘LLM-as-a-Judge,’ where LLMs are employed as evaluators for complex tasks. With their ability to process diverse data types and provide scalable, cost-effective, and consistent assessments, LLMs present a compelling alternative to traditional expert-driven evaluations. However, ensuring the reliability of LLM-as-a-Judge systems remains a significant challenge that requires careful design and standardization. This paper provides a comprehensive survey of LLM-as-a-Judge, addressing the core question: How can reliable LLM-as-a-Judge systems be built? We explore strategies to enhance reliability, including improving consistency, mitigating biases, and adapting to diverse assessment scenarios. Additionally, we propose methodologies for evaluating the reliability of LLM-as-a-Judge systems, supported by a novel benchmark designed for this purpose. To advance the development and real-world deployment of LLM-as-a-Judge systems, we also discussed practical applications, challenges, and future directions. This survey serves as a foundational reference for researchers and practitioners in this rapidly evolving field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google