Large Language Models Are Neurosymbolic Reasoners

要約

現実世界の幅広いアプリケーションは記号的な性質を特徴としており、記号推論のための強力な能力が必要です。
この論文では、記号推論者としての大規模言語モデル (LLM) の潜在的な応用を調査します。
私たちは、自然言語機能を備えたエージェントにとって重要なベンチマークであるテキスト ベースのゲーム、特に数学、地図の読み取り、並べ替え、テキスト ベースの世界での常識の適用などの記号タスクに焦点を当てています。
これらのエージェントを促進するために、象徴的な課題に取り組み、ゲーム内の目的を達成するように設計された LLM エージェントを提案します。
まず、LLM エージェントを初期化し、その役割を通知します。
次に、エージェントは、特定の記号モジュールとともに、テキストベースのゲームからの観察と有効なアクションのセットを受け取ります。
これらの入力を使用して、LLM エージェントはアクションを選択し、ゲーム環境と対話します。
私たちの実験結果は、私たちの方法が記号推論の自動エージェントとしての LLM の機能を大幅に強化し、LLM エージェントが記号タスクを含むテキストベースのゲームで有効であり、すべてのタスクで平均 88% のパフォーマンスを達成することを示しています。

要約(オリジナル)

A wide range of real-world applications is characterized by their symbolic nature, necessitating a strong capability for symbolic reasoning. This paper investigates the potential application of Large Language Models (LLMs) as symbolic reasoners. We focus on text-based games, significant benchmarks for agents with natural language capabilities, particularly in symbolic tasks like math, map reading, sorting, and applying common sense in text-based worlds. To facilitate these agents, we propose an LLM agent designed to tackle symbolic challenges and achieve in-game objectives. We begin by initializing the LLM agent and informing it of its role. The agent then receives observations and a set of valid actions from the text-based games, along with a specific symbolic module. With these inputs, the LLM agent chooses an action and interacts with the game environments. Our experimental results demonstrate that our method significantly enhances the capability of LLMs as automated agents for symbolic reasoning, and our LLM agent is effective in text-based games involving symbolic tasks, achieving an average performance of 88% across all tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google