Beyond Instruction Following: Evaluating Rule Following of Large Language Models

要約

大規模言語モデル (LLM) は、強力な命令追従能力が役立つことを実証していますが、安全で正確な応答を実現するために、実世界のシナリオではルールによって制御およびガイドされることがさらに想定されています。
これには、LLM のルール追従機能の所有が必要です。
しかし、LLM のルール追従能力を明確に評価した研究はほとんどありません。
LLM のルール従う能力を評価しようとしたこれまでの研究では、ルールに従うシナリオと命令に従うシナリオを区別できませんでした。
そこで本論文では、まずルール追従の概念を明確にし、多様なルール追従能力を評価するための包括的なベンチマークであるRuleBenchを作成する。
さまざまな LLM に関する実験結果は、LLM が従うルールには依然として制限があることを示しています。
さらなる分析により、より優れたルールに従うインテリジェント エージェントに向けた LLM の改善に関する洞察が得られます。
データとコードは、https://anonymous.4open.science/r/llm-rule-following-B3E3/ で見つけることができます。

要約(オリジナル)

Although Large Language Models (LLMs) have demonstrated strong instruction-following ability to be helpful, they are further supposed to be controlled and guided by rules in real-world scenarios to be safe, and accurate in responses. This demands the possession of rule-following capability of LLMs. However, few works have made a clear evaluation of the rule-following capability of LLMs. Previous studies that try to evaluate the rule-following capability of LLMs fail to distinguish the rule-following scenarios from the instruction-following scenarios. Therefore, this paper first makes a clarification of the concept of rule-following, and curates a comprehensive benchmark, RuleBench, to evaluate a diversified range of rule-following abilities. Our experimental results on a variety of LLMs show that they are still limited in following rules. Our further analysis provides insights into the improvements for LLMs toward a better rule-following intelligent agent. The data and code can be found at: https://anonymous.4open.science/r/llm-rule-following-B3E3/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google