Evaluating the Goal-Directedness of Large Language Models

要約

LLMSは、与えられた目標に向けてどの程度その機能を使用していますか？
私たちはこれを彼らの目標指向性の尺度として受け取ります。
情報収集、認知的努力、および計画の実行を必要とするタスクの目標指向性を評価します。そこでは、各モデルの関連する機能を推測するためにサブタスクを使用します。
Google Deepmind、Openai、および人類からのLLMの評価は、目標指向性がタスク全体で比較的一貫しており、タスクのパフォーマンスとは異なり、動機付けのプロンプトに適度に敏感であることを示しています。
特に、ほとんどのモデルは完全に目標指向ではありません。
目標指向の評価により、LLMの進行の監視が向上し、LLMのエージェントプロパティのより意図的な設計選択が可能になることを願っています。

要約(オリジナル)

To what extent do LLMs use their capabilities towards their given goal? We take this as a measure of their goal-directedness. We evaluate goal-directedness on tasks that require information gathering, cognitive effort, and plan execution, where we use subtasks to infer each model’s relevant capabilities. Our evaluations of LLMs from Google DeepMind, OpenAI, and Anthropic show that goal-directedness is relatively consistent across tasks, differs from task performance, and is only moderately sensitive to motivational prompts. Notably, most models are not fully goal-directed. We hope our goal-directedness evaluations will enable better monitoring of LLM progress, and enable more deliberate design choices of agentic properties in LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google