GuideBench: Benchmarking Domain-Oriented Guideline Following for LLM Agents

要約

大規模な言語モデル（LLM）は、ユーザーの指示に従い、実際のアプリケーションで決定を下すことができる自律エージェントとして広く展開されています。
以前の研究では、一般的なドメインにおけるLLMの能力に従って命令のベンチマークに顕著な進歩を遂げており、その固有の常識的な知識に主に焦点を当てています。
最近、LLMはドメイン指向のエージェントとしてますます展開されており、それは彼らの常識的な知識と矛盾する可能性のあるドメイン指向のガイドラインに依存しています。
これらのガイドラインは、2つの重要な特性を示しています。これらは、幅広いドメイン指向のルールで構成され、頻繁に更新される可能性があります。
これらの課題にもかかわらず、LLMSの能力に従ってドメイン指向のガイドラインを評価するための包括的なベンチマークがないことは、効果的な評価とさらなる開発に大きな障害を提示します。
この論文では、LLMSのパフォーマンス後のガイドラインを評価するために設計された包括的なベンチマークであるGuideBenchを紹介します。
GuideBenchは、3つの重要な側面についてLLMを評価します。（i）多様なルールへの順守、（ii）更新をルールするための堅牢性、および（iii）人間の好みとの調整。
LLMの範囲での実験結果は、ドメイン指向のガイドラインに従う能力を向上させる大きな機会を示しています。

要約(オリジナル)

Large language models (LLMs) have been widely deployed as autonomous agents capable of following user instructions and making decisions in real-world applications. Previous studies have made notable progress in benchmarking the instruction following capabilities of LLMs in general domains, with a primary focus on their inherent commonsense knowledge. Recently, LLMs have been increasingly deployed as domain-oriented agents, which rely on domain-oriented guidelines that may conflict with their commonsense knowledge. These guidelines exhibit two key characteristics: they consist of a wide range of domain-oriented rules and are subject to frequent updates. Despite these challenges, the absence of comprehensive benchmarks for evaluating the domain-oriented guideline following capabilities of LLMs presents a significant obstacle to their effective assessment and further development. In this paper, we introduce GuideBench, a comprehensive benchmark designed to evaluate guideline following performance of LLMs. GuideBench evaluates LLMs on three critical aspects: (i) adherence to diverse rules, (ii) robustness to rule updates, and (iii) alignment with human preferences. Experimental results on a range of LLMs indicate substantial opportunities for improving their ability to follow domain-oriented guidelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google