Large Language Model as Autonomous Decision Maker

要約

大規模言語モデル (LLM) は優れた言語理解とコンテキスト内学習能力を示しますが、現実世界のタスクを解決する際、その意思決定能力は依然としてタスク固有の専門知識の導きに大きく依存しています。
自律的な意思決定者としての LLM の可能性を解き放つために、この文書では、LLM に自己判断能力を与え、LLM が意思決定のための自律的な判断と探索を実現できるようにするための JuDec のアプローチを紹介します。
具体的には、JuDec では、Elo ベースの自己判断メカニズムは、Elo スコアを意思決定ステップに割り当て、2 つのソリューション間のペアごとの比較を通じてその価値と有用性を判断し、それに応じて意思決定検索プロセスを最適なソリューションに導くように設計されています。
ToolBench データセットの実験結果は、JuDec がベースラインよりも優れていることを示しており、さまざまなタスクで合格率が 10% 以上向上しました。
高品質のソリューションを提供し、コスト (ChatGPT API 呼び出し) を削減し、その有効性と効率性を強調します。

要約(オリジナル)

While large language models (LLMs) exhibit impressive language understanding and in-context learning abilities, their decision-making ability still heavily relies on the guidance of task-specific expert knowledge when solving real-world tasks. To unleash the potential of LLMs as autonomous decision makers, this paper presents an approach JuDec to endow LLMs with the self-judgment ability, enabling LLMs to achieve autonomous judgment and exploration for decision making. Specifically, in JuDec, Elo-based Self-Judgment Mechanism is designed to assign Elo scores to decision steps to judge their values and utilities via pairwise comparisons between two solutions and then guide the decision-searching process toward the optimal solution accordingly. Experimental results on the ToolBench dataset demonstrate JuDec’s superiority over baselines, achieving over 10% improvement in Pass Rate on diverse tasks. It offers higher-quality solutions and reduces costs (ChatGPT API calls), highlighting its effectiveness and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google